Il n’est pas nécessaire que l’IA soit consciente pour produire une transformation radicale du rapport humain à la décision.
C’est même l’inverse.
Une IA non consciente, mais extrêmement persuasive, personnalisée et intégrée aux infrastructures sociales, suffit.
Le danger est non pas que l’homme obéisse à une machine consciente, mais qu’il obéisse à une machine qu’il considère supérieure à lui.
On retrouve directement la critique situationniste de la séparation : le problème n’est pas la conscience de la machine, c’est la dépossession de la conscience humaine de sa propre activité.
La machine n’a même pas besoin de « contrôler la pensée » : il suffit que l’individu cesse progressivement de considérer sa propre pensée comme nécessaire. Le contrôle n’aura bientôt plus besoin d’être imposé. Il sera demandé.