Algoritmos, subjetividad y poder: ¿qué mundo estamos construyendo?

Vivimos una vida cada vez más mediada por tecnologías que no solo automatizan tareas, sino que también organizan y moldean lo que vemos, sentimos y pensamos. Esto no es nuevo. Ya en los años 80’s, autores nos advertían que la tecnología no es neutral: tiene ideología, modela la realidad, y afecta la forma en que se configura y ejerce el poder.

The things we call “technologies” are ways of building order in our world. Many technical devices and systems important in everyday life contain possibilities for many different ways of ordering human activity. Consciously or not, deliberately or inadvertently, societies choose structures for technologies that influence how people are going to work, communicate, travel, consume, and so forth over a very long time. — Langdon Winner, “Do Artifacts Have Politics?” (1980)

Incluso Winner cita un ejemplo que se puede extrapolar a nuestra realidad actual. Winner menciona a los puentes diseñados por el urbanista Robert Moses en Long Island, NY, USA, que fueron construidos con poca altura para que no pasaran los buses —y por tanto, las clases trabajadoras (muchas de ellas afrodescendientes) no pudieran acceder con facilidad a las playas.

Y esto ocurre porque diseñamos y pensamos desde ciertos supuestos y sesgos. Estos sesgos se replican en lo que creamos, para ciertas personas, con ciertas prioridades. Eso se traduce en código, en hardware, en sistemas.

Y como todo en la vida, esto, tiene consecuencias.

Algunos ejemplos:

• Algoritmos de reclutamiento que discriminan por género o etnia, porque se entrenaron con datos históricos sesgados.

• Mapas urbanos que priorizan autos sobre peatones, o que excluyen barrios “peligrosos” de ciertas rutas.

• Redes sociales que amplifican el odio porque el engagement es más rentable.

Pero este problema fue revisado algunas décadas antes por la Escuela de Frankfurt, quienes vieron en la industria cultural una forma moderna de dominación ideológica. Hoy, las lógicas que Adorno y Horkheimer criticaron en los medios masivos encuentran continuidad en los algoritmos de las redes sociales o redes de contenido.

Aunque se nos presentan como experiencias personalizadas, en realidad, están diseñando nuestros gustos, nuestras opiniones y, en última instancia, nuestra forma de enfrentarnor al mundo.

No están simplemente sirviéndonos -en bandeja- lo que queremos, sino lo que se ha determinado que es más probable que consumamos, manteniendo un ciclo de retroalimentación que limita nuestra exposición a nuevas ideas y, en consecuencia, nuestra capacidad crítica.

De la industria cultural al algoritmo cultural

Podemos entender el “algoritmo cultural” como la lógica algorítmica que selecciona, ordena y distribuye contenidos de forma similar a cómo los medios masivos de la industria cultural estandarizaban gustos y formas de consumo.

En Dialéctica de la Ilustración (1947), Adorno y Horkheimer argumentaban que los medios no buscaban emancipar ni educar, sino estandarizar la cultura para producir sujetos dóciles, consumistas y sin pensamiento crítico.

Para Adorno y Horkheimer, la cultura se ha convertido en una industria. La libertad de elección en una sociedad consumista no es más que la libertad de elegir lo mismo.

Hoy, el algoritmo funciona como una nueva forma de esa industria:

• TikTok, YouTube o Instagram no muestran lo más valioso, sino lo que maximiza tiempo de pantalla y engagement.
• La diversidad es superficial: elegimos dentro de un menú fabricado por nuestra data previa, no con la libertad radical de la existencia.
• Lo subjetivo, lo crítico, lo disruptivo, es marginado, y reemplazado por lo que entretiene o retiene.

Los algoritmos transforman nuestras interacciones, pensamientos y emociones en mercancía, optimizando para engagement, retención y monetización, no para reflexión, diversidad o subjetividad.

Cuando usas OpenAI para transformar tu foto al estilo del Studio Ghibli, o cuando personalizas tu avatar en Instagram para tus reacciones en las historias, no estás rompiendo esquemas ni destacando. Solo estás seleccionando entre las alternativas que el sistema ha diseñado para ti, integrándote en la uniformidad que promueve.

Lo mismo cuando eliges comprar todo el ecosistema de Apple, o Microsoft o Google. Solo seleccionas las opciones que la uniformidad te entrega.

Los algoritmos ofrecen una falsa personalización: parece que eliges, pero en realidad eliges dentro de un menú preprado por tu historia, por otros como tú, y por objetivos comerciales. No hay una decisión real, solo la ilusión de la capacidad de decidir.

La ideología más efectiva es la que se presenta como neutral, técnica, inevitable. Podríamos llamar a esto “ideología invisible”: una estructura de poder que actúa a través de lo que parece neutral —los algoritmos, las métricas, los datos— pero que en realidad define lo que importa y lo que no. Porque cuando el algoritmo “elige por nosotros” según un modelo entrenado con nuestros datos pasados, nos mantiene atados a lo que ya fuimos, impidiendo imaginar lo que podríamos ser.

De la subjetividad algorítmica a la ideología invisible

Este mundo algorítmico —que optimiza la experiencia, personaliza la interfaz, sugiere sin pedir— construye un tipo específico de subjetividad:

• Anticipable.

• Medible.

• Monetizable.

Adorno y la escuela de Frankfurt hablaban del peligro de convertir las relaciones humanas en cosas, en funciones abstractas.

Hoy, podríamos decir que los modelos de aprendizaje automático datafican todo: emociones, lenguaje, creatividad, salud. Todo se convierte en input para modelos predictivos.

¿Tecnología para quién? ¿Para qué?

La crítica de la Escuela de Frankfurt plantea una pregunta clave para nuestro mundo digital:

¿Qué tipo de subjetividad, de mundo, de relaciones estamos construyendo al dejar que los sistemas algorítmicos automaticen nuestras decisiones?

Tal como Adorno y Horkheimer vieron en la industria cultural una maquinaria ideológica, hoy los sistemas algorítmicos homogeneizan, entretienen, retienen, pero no emancipan.

Lejos de la promesa de internet como espacio libre, los algoritmos funcionan como los nuevos medios de masas, con lógicas de estandarización, retención y reproducción de patrones.

Winner nos recuerda que la tecnología no es neutral. Žižek diría que esa aparente neutralidad es precisamente lo ideológico. El problema ya no es solo técnico, sino político y ontológico.

Nota para quienes construimos tecnología

Diseñar interfaces, productos, sistemas, programas o algoritmos no es solo una tarea técnica. Es una decisión política y ética sobre el tipo de humanidad que estamos construyendo.

¿Queremos reforzar lo que ya somos, o abrir la posibilidad de algo radicalmente diferente?

Referencias

• Adorno, T. W., & Horkheimer, M. (1947). Dialéctica de la Ilustración.
• Winner, L. (1980). Do Artifacts Have Politics? Daedalus 109 (1):121–136.

Photo by Roman Denisenko on Unsplash