Du mauvais algorithme
Hélas, comme Janus, l’algorithme est bifrons. Il peut avoir un mauvais côté. A moins qu’il ne faille faire un effort pour distinguer le bon du mauvais, à l’instar du bon et du mauvais chasseur.

 source.

D’ailleurs, dans l’article relatif à la police londonienne, nous voyons que l’algorithme a des parties cachées : He said that he was confident the experiment had been a success, but added that he was not allowed to disclose the exact criteria on which the software was being scored, ce qui est contradictoire avec la transparence que l’on veut imposer à chaque individu.

Dans la même vidéo que celle citée précédemment nous voyons (1’30) que l’algorithme méchant, c’est celui qui embête les gentils, ou qui est la porte ouverte aux fraudes (comme celui de VW). On y apprend aussi que les algorithmes sont des boîtes noires (2′) mais cela ne fait pas consensus (02’43) ce ne sont pas des bêtes noires. Plus inquiétant, à 03’23 nous apprenons que laisser croire qu’il existe un contrôle humain sur les algorithmes est faux. Bigre ! Des algorithmes autonomes ! Encore plus inquiétant, (03’51) l’algorithme peut se tromper, cette dernière citation contredisant l’absence de biais des algorithmes précédemment évoquée, ce qui ne fait qu’entretenir la confusion dans le discours ambiant.

Sa face cachée peut être particulièrement sombre, puisque même les juges démissionnent en guise de protestation : Le juge fédéral Jed Rakoff a récemment démissionné pour protester contre la Commission nationale sur les sciences médico-légales initiée par la Maison Blanche. Pour lui, si les défendeurs n’ont pas accès à l’information pour établir un contre-interrogatoire, le témoignage de la médecine légale n’est alors rien d’autre “qu’un procès par embuscade”. Or, pour les experts, l’ouverture du code à l’examen public d’autres experts reste le plus sûr moyen de s’assurer de la fiabilité des outils. Pour Rebecca Wexler, seul des outils open-source peuvent permettre de répondre aux exigences de l’appareil judiciaire. Certes, les régulateurs effectuent des tests de validation sur certains outils… Mais ces tests n’ont pas suffi à l’agence de la protection de l’environnement américaine pour constater la fraude de Volkswagen par exemple. La Cour suprême américaine sait depuis longtemps que la transparence des procès contribue à préserver la confiance du public dans l’équité et la légitimité de la justice. Le secret qui couvre les logiciels policiers par exemple jette un doute sur ce processus. Comme nous le disions déjà : peut-on faire reposer des décisions publiques sur des boites noires ?

Autre défaut, quasiment rédhibitoire, l’algorithme peut aussi être honteux, ou supposé malfaisant : Les députés ont adopté, mercredi 20 janvier, un amendement PS au projet de loi « pour une république numérique », destiné à rendre publiques les règles des principaux algorithmes utilisés par l’administration pour les impôts, les allocations familiales ou encore l’affectation des enfants dans les collèges. Malgré la suggestion de son camp, le gouvernement s’y est opposé…

Dans un document traitant de l’étude des gangs, Daniel Ventre estime qu’au royaume de l’algorithme, tout n’est pas aussi idyllique qu’on veut bien nous le dire. Ainsi son usage immodéré dans le domaine de la sécurité (nouveau paradigme que l’on pourrait appeler le data-driven policing), ne serait pas exempt de reproches, car en mettant l’accent sur la technique, l’homme pourrait rapidement être considéré comme un intrus ou un sujet d’expériences.
En effet, la collecte des données, comme cela a été mis en avant par les révélations d’Edward Snowden, ne fait pas de distinction entre catégories d’individus. Les outils captent, interceptent, collectent toutes les données accessibles, puis les traitent en aval au moyen d’algorithmes. Les criminels ciblés par l’analyse ne sont donc pas les seuls dont les données soient collectées. La plus grande part de l’information saisie lors des enquêtes relève de la vie privée et des données personnelles.
Aïe…
Force est de constater que leur utilisation du cyberespace demeure à ce jour relativement peu sophistiquée et dépourvue de grande vision stratégique.
Tant mieux.
En théorie, l’utilisation des technologies de l’information était censée contrebalancer l’asymétrie des moyens entre gangs et forces de l’ordre – un phénomène que certains appellent le «pouvoir égalisateur de l’ordinateur »
Heureusement, c’est le pouvoir discriminateur du neurone qui est en œuvre.