Quel est votre parcours universitaire et professionnel ? Pourquoi avez-vous choisi de vous spécialiser dans le droit du numérique ?
Je suis doctorant à l’Université de Nouvelle-Galles du Sud. Mon parcours professionnel est mixte. J’ai d’abord été économiste, puis j’ai fait des études de droit. J’ai travaillé dans un cabinet de conseil économique où je manipulais beaucoup de données. Grâce aux données récoltées par une société, j’étais en mesure de voir les modèles agrégés que j’utilisais. Mon travail servait à nourrir la recherche sur les politiques publiques. Par exemple, je répondais à des questions comme : « comment les ménages dépensent-ils leur argent ? » et « comment les entreprises rencontrent des problèmes de trésorerie ? ». Mon travail a marqué le début de mon intérêt pour le droit du numérique. Bien que j’aimais le travail que je faisais avec ces informations, j’en percevais aussi les dangers. Je pense que la plupart des gens ne savent pas à quel point il est facile et courant de partager ce type d’informations. J’ai donc voulu revenir à mes racines juridiques pour approfondir ce sujet. Je pense que j’ai trouvé le droit du numérique intéressant parce que c’est un domaine encore trop peu exploité en droit. Il y a tellement de travail à faire et d’espace pour la recherche, c’est très intéressant.
L’été dernier, la Cour fédérale d’Australie a rendu la première décision autorisant le dépôt d’un brevet pour une invention créée par une IA (sans personnalité juridique). Le tribunal a déclaré que cela allait dans le sens de la promotion de ces technologies. Que pensez-vous de cette décision ? Ne conduit-elle pas inéluctablement à une redéfinition de la notion de propriété intellectuelle ?
En fait, cette décision a fait l’objet d’un revirement de jurisprudence. Je trouve que c’est un cas fascinant. En l’espèce, la question était « Qui peut être appelé un inventeur ? » en vertu de la loi australienne sur les brevets. Ce litige portait plus particulièrement sur la question de savoir ce que signifie le mot inventeur au regard de la réglementation en vigueur. Je pense que c’est probablement un début de réflexion sur le sujet. Le brevet australien n’a pas de définition de l’inventeur parce qu’à l’époque où il a été rédigé, la définition était tellement évidente qu’elle n’avait pas besoin d’être développée. Il se peut donc que cette définition soit clarifiée à l’avenir car nous aurons probablement besoin d’avoir plus de lois qui déterminent comment attribuer la création d’un logiciel. Lorsque le programme logiciel a un auteur et propriétaire évident, il a été constaté que cette personne est éligible pour déposer le brevet et posséder cette propriété intellectuelle. Mais cela ne peut pas toujours être vrai. Parfois, le logiciel est détenu par plusieurs entreprises à parts égales dans le cadre d’un projet cofinancé, ou parfois il y a un propriétaire minoritaire qui effectue le travail, les démarches intellectuelles. Il faudra donc sûrement des règles plus adaptées sur l’attribution de la propriété d’un logiciel qui crée ensuite d’autres logiciels ou innovations. Il faudra également prendre en considération ces changements dans d’autres domaines comme par exemple les droits d’auteurs. Actuellement, la loi australienne sur le droit d’auteur ne reconnaît pas la création par les logiciels. A cet égard, OpenAI CODEX est un exemple intéressant. CODEX est un outil, une fonction avancée d’auto-complétion pour les logiciels, mais cette auto-complétion est si avancée qu’il y aura probablement des logiciels utilisant CODEX pour lesquels il sera difficile de savoir dans quelle mesure il a aidé les logiciels. Je pense que, même si, dans ce cas particulier, la décision a été renversée, il s’agissait d’une question de droit très étroite. Dans le fond, cette décision indique le type de problèmes politiques auxquels nous nous heurtons et montre que de nombreux changements devront être apportés à la loi.
Dans le monde, il s’agit d’une question juridique très débattue. Si l’Afrique du Sud a pris une décision similaire à celle de l’Australie, d’autres pays sont encore réticents (par exemple, l’Office européen des brevets). Pourquoi, selon vous, de telles divergences ?
De façon évidente je ne peux pas me prononcer pour tous les pays. Il semble que de nombreux pays ne prennent pas vraiment position. Selon moi, il est essentiel de prendre une position qui comprenne clairement l’objectif de la loi en question. Il existe de nombreux domaines où une technologie remet en question un ensemble de lois existantes. Cela se produit à une telle vitesse en ce moment qu’il peut être distrayant de se concentrer sur la technologie. Pour prendre l’exemple de la propriété intellectuelle, l’objectif de ce travail juridiquement encadré est d’inciter les gens à créer des choses. Les gens peuvent ne pas être d’accord sur cet objectif et le définir différemment, mais la législation a un objectif qui n’a rien à voir avec la technologie elle-même. Ainsi, lorsque nous pensons aux changements et aux innovations qui doivent se produire dans la loi, il serait bon de commencer par cet objectif. Donc, dans ce cas, si nous devons réécrire la loi sur la propriété intellectuelle en Australie pour reconnaître les logiciels et les machines comme auteurs, nous devrions nous interroger sur les répercussions que cette loi va avoir sur l’incitation à créer de nouvelles choses. Je pense qu’une grande partie du raisonnement juridique dans cette affaire, ainsi qu’une partie de l’argumentation, ont été détournées par la question plus divertissante suivante : « Qu’est-ce que l’intelligence artificielle ? ». Le tribunal, et ensuite la presse, ont personnifié cette intelligence artificielle. En effet, le logiciel avait un nom qui le faisait ressembler à une personne. Tous ces éléments n’ont rien à voir avec la préoccupation politique et juridique. C’est la partie amusante du raisonnement, c’est-à-dire s’interroger sur le point de savoir si les intelligences artificielles créent de façon incitative. Mais ce n’est pas la question juridique. La question juridique est de savoir comment nous devons attribuer la propriété d’une manière qui encourage l’innovation. C’est une question ennuyeuse à certains égards, mais plus appropriée et plus pratique.
L’Australie a adopté une loi en 2021 portant modification de la législation sur la surveillance. Cette loi confère trois nouveaux pouvoirs à la police fédérale australienne et à la Commission australienne du renseignement criminel pour identifier et perturber les activités criminelles graves en ligne. Naturellement, la loi a suscité un débat sur la question de la vie privée. L’Office of the Australian Information Commissioner (OAIC) a exprimé ses inquiétudes quant à l’utilisation pratique de cette loi dans le cas de tiers non suspectés d’activité criminelle. Pensez-vous que ces nouveaux pouvoirs sont proportionnés aux menaces ?
Cette loi sur la vie privée insiste sur la proportionnalité. Cette loi offre une certaine protection mais les autorités australiennes l’ont unanimement critiquée. En effet, la loi comporte de nombreux risques. Les raisons pour lesquelles le gouvernement a recours à cette loi sont le terrorisme, la sécurité nationale et les abus sexuels sur les enfants. Mais ce sont les crimes les plus graves qui sont couverts par cette législation. Peut- être que le gouvernement avait l’intention de l’utiliser uniquement dans ce but, mais il y a évidemment un risque.
Un autre risque est que la loi force les gens à travailler avec le gouvernement. En effet la loi prévoit que le gouvernement peut obliger un tiers à l’aider dans le piratage d’un système. Une telle disposition peut avoir de graves conséquences pour les personnes physiques et les entreprises. D’une certaine manière, tout maintien de l’ordre actif est plus dangereux. Il ne s’agit pas d’une loi générale, mais d’un pouvoir discrétionnaire. Le maintien de l’ordre nécessite toujours une certaine forme de discrimination. À la suite du 11 septembre, de nombreuses lois ont été adoptées en Australie. Le bilan de ces lois n’était pas très bon. On a beaucoup discuté de l’utilité de ces lois en Australie. L’une des réponses politiques qui a été apportée quelques années après l’adoption de ce type de loi de surveillance a été le CVE (« controlling violent extremism »). À l’époque, les politiciens parlaient de la nécessité d’établir des relations avec les communautés et les forces de l’ordre pour avoir des relations plus étroites avec les communautés surveillées. C’était une façon de reconnaître que ces communautés étaient trop visées. Aujourd’hui, le CVE est controversé pour d’autres raisons, mais il montre que ce type de législation a conduit à une surveillance trop accru de la police. Il est important de s’assurer que cela ne se reproduise pas. Au final, je pense que la nouvelle législation présente des risques très évidents, sérieux et substantiels, non seulement pour la vie privée des personnes, mais aussi pour leur droit à ne pas être discriminé et à ne pas être trop visé par les forces de l’ordre. Je suis donc heureux que la loi prévoie une période de révision de cinq ans. Il sera intéressant de voir comment elle fonctionne à l’avenir.
Par ailleurs, cette nouvelle loi est-elle compatible avec le Privacy Act de 1988 ? En effet, cette loi est censée promouvoir et protéger la vie privée en Australie. Peut-on véritablement concilier des intérêts aussi contradictoires ?
D’un point de vue juridique, cette loi est compatible puisqu’elle a été adoptée. Mais, je pense que certains des objectifs politiques de la loi sur la vie privée sont probablement compromis. C’est le travail de l’OAIC (commissaire australien à l’information) de faire respecter et de promouvoir la loi sur la protection de la vie privée. Il a d’ailleurs constaté qu’il y a des risques sérieux pour ces exigences. Je ne connais pas assez bien la loi pour dire si elle pourrait être contestée, mais je ne pense pas qu’elle puisse l’être pour son incohérence. Pourtant, je pense qu’elle va à l’encontre de certains de ses objectifs. Les objectifs du Privacy Act sont très larges. Le Privacy Act dit que son premier objectif est de promouvoir la vie privée des individus : c’est vaste et il y a une liste d’exceptions qui visent à équilibrer ce droit avec les considérations de sécurité nationale. Je pense que l’objectif de préservation de la vie privée des individus est un peu compromis ici. Quant à savoir si c’est proportionné, il est évident que le gouvernement a décidé que ça l’était.
Lorsque l’on évoque les dérives ou les dangers des nouvelles technologies, l’intelligence artificielle et les technologies de surveillance sont souvent rapprochées. Entre inquiétude et questionnement, ces évolutions technologiques renvoient généralement à la culture populaire avec des œuvres dystopiques comme « 1984 » de George Orwell dans lequel Big Brother surveille la population dans ses moindres gestes. Cependant, l’intelligence artificielle peut aussi être très utile et améliorer considérablement la vie des gens en apprenant de leur comportement. Selon vous, quelle est la différence entre une intelligence artificielle utile (comme Alexa) et une technologie de surveillance ?
Pour moi, la première chose à faire est de reconnaître que les intelligences artificielles comme Alexa sont des technologies de surveillance. Beaucoup de choses dans notre vie actuelle sont des technologies de surveillance. Elles sont conçues pour nous surveiller passivement et prendre des décisions qui nous sont plus ou moins utiles. Les algorithmes de Facebook et d’Instagram en sont de très bons exemples. En effet, c’est très utile parce que nous recevons du contenu que nous voulons voir, mais c’est encore plus utile pour les fournisseurs de ce contenu. Et, d’une certaine manière, ce n’est pas utile du tout parce que c’est conçu pour contenir nos libertés. Certains de ces outils de surveillance sont d’ailleurs parrainés par des États. Avant toute chose, je pense donc qu’il est important de reconnaître que le fondement de cette technologie est la surveillance. La question est donc de savoir comment faire en sorte que cette surveillance nous profite en tant qu’usager.
Je pense qu’il faut s’interroger sur ce qu’est un bon gouvernement et une bonne démocratie. En effet, la technologie de surveillance doit être mise en œuvre avec de bonnes informations. Cela suppose que tout le monde doit savoir de quoi il s’agit exactement et prenne le temps de réfléchir aux conséquences de ces technologies avec une possibilité de s’exprimer sur la façon dont elle nous affecte. Finalement, ce type de technologie de surveillance est bonne lorsque le choix des usagers est respecté. Il manque un de ces éléments à la « mauvaise » technologie de surveillance. Au début de l’utilisation de ces technologies dans notre vie quotidienne, nous ne savions pas vraiment ce qu’elle était, ni comment elle fonctionnerait ; donc, nous n’avons pas vraiment choisi de la voir affecter nos vies. Il ne s’agit pas nécessairement d’un questionnement politique ou juridique. Par exemple, si l’on pense à Apple, l’un des changements apportés par la société l’année dernière est que l’App Store a désormais des lignes plus claires concernant l’utilisation des données personnelles. Nous pouvons débattre de la question de savoir si c’est une bonne chose ou non, mais c’est mieux que ce qui existait auparavant. Plus nous nous rapprochons de la situation où “tout le monde sait, comprend et choisit”, plus la technologie de surveillance est acceptable. En pratique, la distinction faite actuellement, entre ce qui est nécessaire à la sécurité nationale et ce qui est une violation de la vie privée, peut entraîner des atteintes très importantes à nos droits et libertés. Cela dit, je pense que cette distinction est en quelque sorte une distraction ; en effet, tout le monde à une conception assez différente de ce qu’est la vie privée non ? Par exemple, je ne me préoccupe peut-être pas beaucoup de ce que vous pouvez voir dans mes comptes bancaires, mais une entreprise n’a pas intérêts à ce que l’on voit les siens. Donc, selon moi, la question sous-jacente est quelque chose comme « connaissez- vous, comprenez-vous et choisissez-vous de faire partie du système ? »
L’utilisation de l’intelligence artificielle implique-t-elle nécessairement un certain degré d’intrusion dans la vie privée pour être efficace ? Et si oui, pensez-vous que la législation actuelle en Australie protège suffisamment les citoyens ?
C’est une question qui me tient à cœur car mes recherches y sont consacrées. Pour être honnête, je ne sais pas encore. Il est clair qu’il existe des utilisations intéressantes de l’intelligence artificielle aujourd’hui comme par exemple les logiciels de navigation. Cependant, il y a une dimension de surveillance et de risques pour la vie privée comme je l’évoquais précédemment. La question se pose alors savoir si la loi australienne, et les lois d’autres pays, sont suffisamment bonnes pour gérer ce risque. Je ne pense pas que je puisse encore répondre clairement ” Oui ” à cette question. Ce qui est sûr, c’est que les utilisateurs ne sont pas encore assez informés. Je pense que l’ensemble du système de réglementation autour de la vie privée en Australie et dans le monde n’est pas encore à la hauteur des enjeux que représentent l’intelligence artificielle.
Que pourrait-on faire ?
Laissez-moi vous donner une réponse ennuyeuse et une réponse plus intéressante.
La réponse ennuyeuse est technique et liée à mon sujet de recherche. Par exemple, la plateforme Facebook observe le comportement en ligne de ses utilisateurs pour déterminer leurs goûts et envies afin de leur proposer un contenu adapté. Dans la loi australienne sur la protection de la vie privée, une information est personnelle si elle fait partie d’un dossier. Il peut s’agir d’un dossier physique ou numérique. Mais Facebook, et d’autres plates-formes, ne constituent pas ce type de dossier à proprement parlé. Les informations sont collectées et superposées pour créer une version cryptographique d’un passé analogique. Il n’est pas évident de savoir si la loi est capable d’envisager ce type de données d’autant plus qu’elles ne sont pas toujours lisibles pour l’Homme. C’est donc une grande question pour moi : comment la vie privée s’adapte-t-elle à cela ? L’exemple que j’utilise est le suivant : Si Facebook existait avant l’internet, s’il s’agissait d’un service de courrier qui personnalise le courrier pour vous (comme l’était Netflix), je suppose que Facebook aurait un fichier informatique sur les préférences de ses utilisateurs. Dans ce système, il est très clair que ce fichier contient une information personnelle. Mais ni Netflix ni Facebook ne font cela. Toutes ces recommandations se font en quelque sorte automatiquement. Ces plateformes ont pour but de collecter des informations sur vous et d’agir ensuite sur la base de ces informations, et comme à aucun moment ces informations ne sont mises par écrit, on ne sait pas si les lois sur la protection de la vie privée s’y appliquent. C’est le genre de question de recherche que j’envisage. C’est un changement possible.
Mais au-delà de tout cela, il s’agit du rôle des institutions qui entourent la loi. Selon moi, les questions suivantes doivent être posées : comment s’assurer que les gens ont véritablement leur mot à dire dans l’élaboration de cette loi et dans le développement de cette technologie ? Comment faire en sorte que la loi atteigne ses objectifs ? La réponse à cette question est la suivante : notre processus démocratique doit être meilleur. C’est pourquoi, les institutions, les citoyens et les hommes politiques doivent tous être capables de comprendre les risques en amont afin de faire des choix les plus éclairés possibles.
Dans « Atlas of AI », Kate Crawford soutient que les algorithmes sont biaisés. Dans ce contexte, quel rôle pensez-vous que la loi doit jouer ?
La loi devrait être plus exigeante en matière de transparence. Dans l’ouvrage, The Black Box Society, (très similaire à « The Atlas of AI ») l’auteur explique combien beaucoup de ces technologies sont méconnues et ce parfois de façon délibérée. La loi devrait s’assurer qu’il n’y ait plus de « secret » autour de l’utilisation de ces technologies ou du moins que cette opacité quant à leur emploi soit acceptée de tous. Le changement le plus important que l’on puisse faire est d’examiner avec précision où il convient d’accroître la transparence.
La deuxième chose est de s’assurer que la population a conscience des effets que cela engendre. Ce sujet est devenu populaire il y a à peine quelques années. Pourtant, cela fait bien longtemps que ces technologies font parties de nos vies. Le problème est que l’utilisation de ces technologies, notamment de surveillance, peut avoir des conséquences discriminatoires et nous le réalisons souvent trop tard. Nous devrions donc réfléchir sérieusement à la manière dont nous pouvons réduire ce laps de temps. Comme je l’ai dit, une partie de ce temps pourrait consister en l’augmentation de la transparence par la loi. En outre, les journaux, les politiciens et les universitaires doivent devenir plus efficaces dans ce domaine et les entreprises elles-mêmes doivent communiquer sur ce sujet. Il faut donc s’assurer que nous sommes tous conscients et attentifs aux répercussions. Par exemple, il faut veiller à ce que les biais humains ne se retrouvent pas dans les algorithmes. Une célèbre étude révèle que les juges ont tendance à prononcer des peines différentes selon l’heure de la journée. Selon l’étude, ils auraient tendance à prononcer des peines plus sévères juste avant l’heure du déjeuner. Je ne sais pas dans quelle mesure ces études sont probables. Mais je pense que c’est un exemple du fait que même les systèmes humains ont des modèles de discrimination qui ne sont pas évidents et qui ne deviennent évidents qu’une fois qu’on y prête attention. Il en est de même pour les systèmes automatisés à la différence près qu’avec les systèmes humains, nous avons pris conscience de l’existence de la discrimination, ce qui nous pousse à y être attentif et à l’éviter. Avec les systèmes automatiques, je ne pense pas que nous l’ayons encore compris car nous semblons toujours surpris par son existence. Il est donc nécessaire de prendre cela en considération et de rechercher l’existence de potentielles discriminations dans les algorithmes par exemple. Je ne sais pas si c’est un changement juridique, mais c’est pour sûr un changement social.
Sophie Saulnier -Responsable du pôle Données Personnelles et Cybersécurité
Could you introduce yourself : what is your academic and professional background ? Why did you choose to specialize in digital law ?
I am a Ph.D. candidate at UNSW. My professional background is mixed. I was an economist first and then I did my Law Degree. I went to an economic consulting firm and we used a lot of data. So that included banking transaction data and information on how business use technology. We used the data from a company which provides accounting for services and small businesses. We were able to see the aggregate patterns that we used. So, we used that kind of data to inform public policy research. We wrote about « how households are spending more or less money? », and « how businesses are having cashflow problems? ». It was the beginning of my interest in this topic. I thought as much as I loved the work that I was doing with that information I could also see the dangers of it. I think most people are unaware of how easy and how common it is for this kind of information to be shared. So, I wanted to get back to my law roots and do some work on that topic. I think I found digital law interesting because this is something we do not have the answers on. There is so much work to do and so much space when you think about it, that is very interesting.
Last summer, the Federal Court of Australia issued the first judicial decision allowing the filing of a patent for an invention created by an AI (without legal personality). The court said this was in line with the promotion of these technologies. What do you think about this ? Does this decision ineluctably lead to a redefinition of the notion of intellectual property ?
Actually, a couple of months ago, this decision held by a single judge has since been overturned by a panel of five judges, so the rule has been overturned. I think this a fascinating case. In this case, the question was « Who could be called an inventor? » under the Australian patent law. This particular dispute is about the narrow question of what the word inventor means for the purpose of that particulate law and specific regulation. I think this is probably the start for an elderly education for future complex. So, that might clarify the definition of what « inventor » means under the relevant law. The Australian patent does not have a definition of inventor because I think at the time that it was written that would have been so obvious what that meant, it did not need an explanation. So we might see clarification on that definition in the future. We will probably need to see more laws that determine how to attribute the creation of a software program. In this case, the software program had an evident author, owner and controller. It was found that this person was eligible to file for the patent and owned this intellectual property. But that can’t always be true. Sometimes the software program is owned by multiple businesses with equal shares in some project that is co- financed, or sometimes there is a minority owner who does the intellectual work. So, it will probably need better-untitled rules about how to attribute ownership over a software program which then creates other software or intellectual innovations. There will likely be broader changes in different topics like copyright law. Currently, Australian copyright law does not recognize creation by software programs. There is a very famous example like OpenAI CODEX. CODEX is a tool, an advanced auto-complete feature for software, but that auto-complete is so advanced that probably there will be software using CODEX where it is hard to know how much it is human intuitive or how much it has helped software programs. I think that, even though, in this particular case, the decision was overturned, it was about a very narrow question of law. It indicates the kind of policy problems we are running into, and probably there will need to be lots of law changes.
In the world, this is a highly debated legal issue. If South Africa has made a similar decision to Australia, other countries are still reluctant (for example, the European Patent Office). Why do you think there are such discrepancies ?
I think that policy stands are not being framed up everywhere. It is essential to take a stand that clearly understands the purpose of the particular law. There are many areas where some technology is challenging an existing body of law. It is happening at such speed at the moment, that can be distracting to focus on the technology. So to take the example of intellectual property, the purpose of that legally framed work is to provide people with an incentive to create things. People might disagree about the purpose and stand the purpose differently, but there is a purpose to the legislation that has nothing to do with the technology itself. So, when we think of the changes and innovations that need to happen in law, it would be good to start with that objective. And so, in this case, if we are to rewrite the intellectual property law in Australia to recognize software and machines as the authors, we should ask ourselves: what does that do for the incentive to create new things ? What does that do to recognize the principle of some people’s right to have ownership? Whatever you think these objectives are: what would this do to the objectives of that law ? I think a lot of the legal reasoning in this case and some of the argument got distracted by the more entertaining question of « what is artificial intelligence? ». The court talked about it as AI, and all of the press and commentary around talks about this AI. The software program had a name that made it seem like a person. They even referred to it by a pronoun. All those things are irrelevant to the policy concern, and all of them get humans to think about in terms of the more entertaining question of like, « Do things incentively create something? » But that is not the legal question. The legal question is how we should attribute ownership in a way that encourages innovation. It is a boring question in some ways but more appropriate and practical.
Recently, Australia passed The Surveillance Legislation Amendment (Identify and Disrupt) Act 2021. It introduced three new powers for the Australian Federal Police and the Australian Criminal Intelligence Commission to identify and disrupt serious online criminal activity. Naturally, the Act has sparked debate on the issue of user privacy. For example, the Office of the Australian Information Commissioner (OAIC) has expressed concern about the practical use of this law in the case of third parties not suspected of criminal activity. Do you think these new powers are proportionate to the threats ?
This privacy act stresses that proportionality. This law has some protection but Australian authorities have unanimously criticized it. The law has many risks. For instance many things have a maximum criminal punishment of three or more years. The reasons for the government’s use of this legislation are terrorism, national security and child sexual abuse. But that is the most serious crime that are covered by this legislation. Maybe the government only intended to do it at that end, but obviously that is a risk. Another risk is that the law forces allow government forces people to work with them. It does not just say, « we can go seek a warrant. » It says « that warrant can include forcing a party to help me hack into some system» and that could lead to severe consequences for people and companies that are compelled to work against others. Any active policing, in some ways, is more dangerous. It is not a blanket law, it is a discretionary power. Policing always requires some kind of discrimination. In the wake of 9/11, there were a lot of laws passed in Australia. The track record of those laws was not very good.
There was a lot of arguments whether those laws helped. One of the policy responses that happened a couple of years after that kind of surveillance legislation passed after 9/11 was the CVE (« controlling violent extremism »). At the time, politicians talked about the need to build relationships with communities and law enforcement to have human relationships with the communities being policed. It was part of the recognition these communities were overpoliced. Today CVE is controversial for other reasons but that was an example when this kind of legislation led to over-policing. It is crucial to make sure that it does not happen again. Because national security has always been quite powerful in recent years, there has always been a lot of political power behind that kind of priority. I think there are very obvious, serious, and substantive risks of the new legislation to not just people’s privacy but also their right not be discriminated against and not to be overpoliced. So I am happy there is a review period in the law. It will be interesting to see how it works but clearly there are some risks.
Furthermore, is this new law compatible with the Privacy Act of 1988 ? Indeed, this law is supposed to promote and protect privacy in Australia. Can such conflicting interests even be conciliated ?
In the legal sense this is compatible because it is passed. But, I think, that some of the policy objectives of the privacy act are probably being compromised. It is the OAIC (Australian Information Commissioner ) job to uphold and promote the privacy act, and that was their finding as well that it does cause risks to their requirements. I don’t know the law well enough to say that it could be challenged. I don’t think it can for being inconsistent, but I think that it is against some of the objectives of that Act.
The objectives of the Privacy Act are so broad. The Privacy says that its first objective is to promote the privacy of individuals: that it is vast and there is a list underneath to balance that right with national security considerations etc.. I think that overeaching the objective to promote the privacy of individuals is a little bit compromised here. Whether it is proportionate, obviously the government has decided that it is. I think there are some serious risks.
When one talks about the drifts or dangers of new technology, artificial intelligence and surveillance technology are never far away. Between concern and questioning, these technological evolutions usually refer to popular culture with dystopian works such as George Orwell’s “1984” in which Big Brother monitors the population in its small gestures. However, artificial intelligence can also be very useful and can significantly improve people’s lives by learning from their behavior. So, what do you think is the difference between a helpful AI (like Alexa) and surveillance technology?
The start for me is recognizing that helpful AI technologies like Alexa are surveillance technology. Lots of things in our life now are surveillance technologies. They are designed to monitor you passively and make decisions sometimes in a very helpful way, sometimes in a way that is very helpful but also not helpful to anyone else. Facebook and Instagram’s algorithms are very good examples of that. Indeed it is super helpful because I get content that I want to see, but it is even more helpful to the providers of that content. But in some ways, it is not helpful at all because it is designed to contain our freedoms and some of the states-sponsored government surveillance that we think of are an example of that. So I think, first, it is important to recognize the underline of technology is surveillance. So then the question is: how do we make that surveillance helpful to us ? I think the answer to that question is to question what is a good government and democracy. Indeed, surveillance technology has to be implemented with good information, which means that everyone knows what it is, everyone has the time to think about how it affects us, and everyone has a say in how it affects us. That’s good surveillance technology because we will all aim to understand what it is and say what we want to see our choices respected. Bad Surveillance technology has one of those things missing. We did not know what it was, we did not know how it would work, and we did not choose to have it affect our lives. I do not think every technology would fit at either extreme, but it is somewhere in that spectrum. So, I think that is the way to think about the difference between good and bad surveillance technologies. It does not necessarily have to be political or legal. For instance, when one thinks about Apple, one of the changes that the company made in the last year is that the App Store now has clearer lines about the use of personal data. We can argue whether that is good or not, but that is better than what used to exist. The closer we get to the extreme of « everyone knows, understands, and chooses,» then that is better surveillance technology. Actually, the distinction we draw as opposed to the particular application like « some things are inconvenient, but some things are important to national security » is something that might have privacy breaches. But I think this distinction is a distraction because they are different for everyone else, right ? I might not care a lot about what you can look at my banking, but a corporation might care a lot about what you can look about their financial industry. It means a lot to them. But I think the underlying question is something like « do you know, understand and choose to be part of the system? »
Does artificial intelligence necessarily imply a certain amount of privacy intrusion to be effective ? If yes, do you feel like the current legislation in Australia protects people enough ?
This is a question close to my heart because it is what I am doing my research on. I don’t know yet to be honest. Very clearly, there are applications on artificial intelligence, like browsing software, etc..and probably in the near future something that we could very accurately call artificial intelligence. But there are application of that technology that have a surveillance dimension to it, and those technologies create privacy risks. There is an open question about whether Australian law and law everywhere is good enough to handle that risk. And I don’t think I would clearly say « Yes » to that question yet. But, I believe there is not enough of an understanding of what the law regulates and enough of an understanding from people about the consequences of the privacy hunt that is being created. So, suppose you take this system as a whole, not just in a particular law but also how it is enforced, how it is understood, and how we talk about it. In that case, the entire system of privacy regulation in Australia and around the world is not yet up to the task of what we already see and more problematically what we will see very soon.
What could be done ?
Let me give you, one boring answer and one more interesting answer.
The boring answer is related to my research topic, which is very technical: If you think about technology like Facebook, this platform is going to observe your online behavior in lots of places, record your location, and makes guesses about what you want to give it to you. In Australian privacy law, something is personal information if it is part of a record. It is like a physical or digital folder; those things are personal information in a record. But Facebook and many technologies do not use that kind of discrete information. They use everything they know or make a guess in that splint second based on images, papers, spreadsheets, and cryptal versions of that analog past. This is less clear how good the law is at responding to the kind of data we have now, which is not always human-readable. So that is one big question for me : how adapting privacy responding to that ? The example that I use is the following : If Facebook existed before the internet, if it were a mail service that customizes mail to you (like Netflix used to be), I would assume that Facebook would have a computer file about the preferences of its users. In that system, that is very clear that that piece of paper, that file is personal information. But neither Netflix nor Facebook do not do that anymore. All of those recommendations happen kind of automatically. Those platforms aim to collect information about you and then act on that information, and because at no point is this information written down, it is unclear whether privacy laws apply to it. That is the kind of research question that I am considering. That is one possible change.
But beyond all that, it is more about the institutions that sit around the statute. So, how could we ensure that the official information commissioner is well funded and informed to enforce privacy litigation ? How could we make sure that the users of this technology are well-informed of their rights and the choices and the technology there are interacted with ? How could we ensure that politicians know the technologies anyhow it works ? How much people know ? How empowered are they to participate in the conversation ? That is the more important set of changes in this topic. The most important question : how could we make sure that people have a say in the development of that law and in the development of this technology ? How do we make sure that the law meets its objectives ? The answer to that question is: Our democratic process has to be right. Institutions, citizens, and politicians should all be capable of understanding the risks and then making a choice.
In your presentation post on the forum at the beginning of the course, you wrote that you were reading “Atlas of AI” by Kate Crawford. In this essay, she argues that algorithms are biased and indirectly show our societies’ gender, racial, social, and other biases. In this context, what role do you think the law must play?
There has been a lot written about what the law can do. For me, the most important change is that the law should be better at requiring transparency when needed. The Black Box Society, which is very similar to « The Atlas of AI » explains how lots of these technologies are unknown to us and, in some cases, there are deliberately unknown. So for me, the biggest role the law can play is to ensure that the secrecy that exists is not unlawful because we made a conscious choice to make it OK to be secret. Because when it is not that secrecy is leading to discrimination and to problems that are worst than what could happen if we took away some people’s rights to have that secrecy, then the law would make the right decision. The most significant change that can be made is to consider where to increase transparency.
The second thing is to ensure we know when these effects are happening. This subject just became popular like 5 years ago. There was a long time when these technologies were having those effects, five or ten years before public attention was directed to it. And I think it will continue to happen. There will be some discriminatory consequences of the new technology that we will not understand until much later after the fact. So we should think hard about how we can compress that amount of time. Part of it it will be laws about mandating disclosure and other people doing their jobs. Indeed, newspapers, politicians and academics need to be better at it, and the companies themselves need to communicate what it is. So making sure that we are all conscious and paying attention to the consequences. Like when some bank switches its own landing approvement process to a software program, to make sure that there is oversight or attention at least to what the consequences of that are : is there unattended discrimination against particular types of people that did not use to happen. I think the same thing is true when humans were doing it. There is a famous study which found that judges tend to give different sentencing decisions depending on the time of the day. They tend to give harsher sentences and decisions just before lunchtime because they are hungry. I do not know how probable the studies are. But I think it is an example of the fact that even human systems have patterns of discrimination that are not obvious and they only become obvious once you study them. I think that the same will be true for automated systems at the difference that, with human systems, we have learned the lesson that discrimination exists, and so now we are paying attention and looking out for it. But with machine system, I do not think we have learned the lesson yet because we keep being surprised. We need to learn that lesson and look for discrimination. I do not know if it is a legal change, but it is a bit of a social one.
Sophie Saulnier -Responsable du pôle Données Personnelles et Cybersécurité
