Mark notó que algo no estaba bien con su hijo pequeño, el pene lucía inflamado y parecía que le producía dolor. Mark, un papá de San Francisco que se encarga de las labores domésticas, tomó fotografías con su teléfono inteligente Android para documentar el problema con el fin de seguir su evolución.

Era un viernes por la noche de febrero de 2021. Su esposa llamó a su médico de cabecera para programar una consulta de urgencia para la mañana siguiente, a través de una videollamada porque era sábado y había una pandemia. Una enfermera le dijo que enviara fotos para que el médico pudiera revisarlas antes de la consulta.

La esposa de Mark tomó su teléfono y envió por mensaje de texto algunas fotos de la entrepierna de su hijo a su iPhone para poder subirlos al sistema de mensajería del médico. En uno, la mano de Mark era visible, lo que ayudaba a mostrar mejor la hinchazón. Mark y su esposa no pensaron en los gigantes tecnológicos que hicieron posible esta rápida captura e intercambio de datos digitales, ni en lo que esas empresas podrían pensar de las imágenes.

Con la ayuda de las fotos, el médico diagnosticó el problema y le recetó antibióticos, lo que solucionó rápidamente las molestias. Pero este incidente le costó a Mark más de una década de contactos, correos electrónicos y fotos e hizo que la policía iniciara una investigación en su contra. Mark, quien pidió que solo se le identificara por su nombre de pila por temor a los posibles daños a su reputación, quedó inmerso en una red algorítmica diseñada para atrapar a las personas que intercambian material de abuso sexual de menores.

Como las compañías tecnológicas capturan tantos datos, se les ha presionado para analizar lo que pasa por sus servidores con el fin de detectar y prevenir conductas delictivas. Los defensores de los menores dicen que la cooperación de las empresas es fundamental para combatir la propagación en línea de imágenes de abuso sexual. Pero esto puede suponer el acceso a archivos privados, lo que ha originado que actos inocentes adquieran un tono siniestro en al menos dos casos descubiertos por The New York Times.

Jon Callas, tecnólogo de la Electronic Frontier Foundation, una organización de libertades civiles digitales, calificó los casos como canarios “en esta mina de carbón en particular”.

“Podría haber decenas, cientos, y miles de casos como estos”, dijo.

Debido a la naturaleza tóxica de las acusaciones, Callas especuló que la mayoría de las personas señaladas indebidamente no darían a conocer lo sucedido.

“Sabía que estas empresas estaban observando y que la privacidad no es lo que esperábamos que fuera”, dijo Mark. “Pero no he hecho nada malo”.

La policía estuvo de acuerdo. Pero Google no comparte la misma opinión.

‘Una violación grave’

Mark, de cuarenta y tantos, llegó a depender en gran medida de Google. Su teléfono inteligente Android hacía una copia de seguridad de sus fotos y videos en la nube de Google. Tenía un plan de telefonía con Google Fi.

Dos días después de tomar las fotografías de su hijo, sonó una notificación en su teléfono: Google había inhabilitado su cuenta debido a “contenido nocivo”, lo cual constituye “una violación grave de las políticas de Google y podría ser ilegal”. Un vínculo para “conocer más” lo dirigió a una lista de posibles motivos, entre los que figuraba “el abuso y la explotación sexual de menores”.

Al principio, Mark se sintió confundido, pero luego se acordó de la infección de su hijo. “Dios mío, tal vez Google piensa que se trataba de pornografía infantil”, pensó.

Mark había trabajado como ingeniero de software en el diseño de una herramienta automatizada de una gran empresa de tecnología que elimina contenido de video que es denunciado por los usuarios como problemático. Sabía que, a menudo, esos sistemas cuentan con el monitoreo de seres humanos para asegurarse de que las computadoras no cometan un error, y asumió que su caso se aclararía tan pronto como esa persona tomara cartas en el asunto.

Llenó un formulario para solicitar que Google analizara la decisión y explicó que su hijo había tenido una infección. Al mismo tiempo, descubrió el efecto dominó del rechazo de Google. No solo perdió los correos electrónicos, la información de contacto de amigos y antiguos colegas y la documentación de los primeros años de vida de su hijo, sino que su cuenta de Google Fi fue cerrada, lo que significó que tuvo que conseguir un nuevo número de teléfono con otra operadora. Sin acceso a su antiguo número de teléfono ni a su dirección de correo electrónico, no pudo obtener los códigos de seguridad que necesitaba para iniciar sesión en otras cuentas de internet, lo que interrumpió gran parte de su vida digital.

“Cuantos más huevos pongas en una canasta, es más probable que se rompa”, dijo.

En una declaración, Google mencionó que: “El material de abuso sexual infantil es aborrecible y estamos comprometidos a prevenir su difusión en nuestras plataformas”.

Pocos días después de que Mark presentó su apelación, Google respondió que no rehabilitaría su cuenta, sin dar mayores explicaciones.

Mark no lo sabía, pero el equipo de Google también había marcado un video que hizo y el Departamento de Policía de San Francisco había comenzado a investigarlo.

Cómo es que Google detecta las imágenes

Al día siguiente de que comenzaran los problemas de Mark, el mismo escenario se repetía en Texas. Un niño de Houston tenía una infección en sus “partes íntimas”, según escribió su padre en una publicación en línea con la que me topé mientras investigaba sobre la historia de Mark. A petición del pediatra, Cassio, quien también pidió que se le identificara solo por su nombre de pila, utilizó un Android para tomar fotos, de las que se hizo una copia de seguridad automática en Google Photos. Luego se las envió a su mujer a través del servicio de chat de Google.

Cassio estaba en medio de la compra de una casa cuando su cuenta de Gmail fue inhabilitada. Le pidió a su agente hipotecario que cambiara su dirección de correo electrónico, lo que despertó las sospechas del agente de los futuros compradores hasta que el agente inmobiliario de Cassio lo avaló.

“Fue un dolor de cabeza”, comentó Cassio.

Millones de veces al año, los gigantes tecnológicos detectan imágenes de niños explotados o abusados sexualmente. En 2021, solo Google presentó más de 600.000 reportes de material de abuso infantil y, como resultado, deshabilitó las cuentas de más de 270.000 usuarios. Las experiencias de Mark y Cassio fueron gotas en un gran balde de denuncias.

La primera herramienta de la industria tecnológica que irrumpió en el vasto intercambio cibernético de lo que se denomina pornografía infantil fue PhotoDNA, una base de datos de imágenes de abuso conocidas, convertidas en códigos digitales únicos, la cual podía utilizarse para rastrear con rapidez un gran número de imágenes con la finalidad de detectar una coincidencia, incluso si una foto había sido manipulada de forma mínima. Después de que Microsoft lanzó PhotoDNA en 2009, Facebook y otras empresas tecnológicas la utilizaron para erradicar a los usuarios que enviaban imágenes ilegales y nocivas.

“Es una herramienta excelente”, dijo en ese momento el presidente del Centro Nacional para Niños Desaparecidos y Explotados.

Un avance más significativo se logró en 2018, cuando Google desarrolló una herramienta de inteligencia artificial que podía reconocer imágenes de explotación infantil nunca antes vistas. Eso significó encontrar no solo imágenes conocidas de niños abusados, sino imágenes de víctimas desconocidas que las autoridades tal vez podían rescatar. Google puso su tecnología a disposición de otras empresas, como Facebook.

Cuando las fotos de Mark y las de Cassio se cargaron de manera automática desde sus teléfonos a los servidores de Google, esta tecnología los etiquetó. Un vocero de Google dijo que la empresa solo analiza esas imágenes cuando un usuario realiza una “acción afirmativa”; por ejemplo, cuando el teléfono del usuario respalda fotos en la nube de la empresa.

“Esta es precisamente la pesadilla que nos preocupa a todos”, dijo Callas. “Van a escanear mi álbum familiar y luego me voy a meter en problemas”.

Es probable que una persona encargada de moderar contenido haya revisado las fotos después de que la inteligencia artificial las marcó para confirmar que cumplen con la definición federal de material de abuso sexual infantil. Cuando Google encuentra este tipo de material, bloquea la cuenta del usuario, busca más material de explotación y, conforme a la ley federal, lo reporta ante la CyberTipline del Centro Nacional para Niños Desaparecidos y Explotados.

Esa organización sin fines de lucro se ha convertido en el centro de intercambio de material de abuso; recibió 29,3 millones de reportes el año pasado, alrededor de 80.000 informes al día. Fallon McNulty, que administra CyberTipline, dijo que la mayoría de estas imágenes ya fueron reportadas, pero siguen circulando constantemente en internet. Entonces, su equipo de 40 analistas se enfoca en posibles nuevas víctimas, para que puedan priorizar esos casos para los cuerpos de seguridad.

“En general, si el personal revisa un informe de CyberTipline e incluye material de explotación que no se ha visto antes, se enfocará en eso”, dijo McNulty. “Puede ser un niño que aún no ha sido identificado o protegido y no está fuera de peligro”.

Los miembros del personal de CyberTipline agregan cualquier nueva imagen abusiva a la base de datos codificada que se comparte con las empresas de tecnología para fines de escaneo. Cuando la esposa de Mark se enteró de esto, borró las fotos que Mark había tomado de su hijo de su iPhone, por temor a que Apple pudiera marcar su cuenta. Apple anunció planes el año pasadopara escanear las fotos de iCloud en busca de representaciones de niños abusivas sexualmente conocidas, pero el lanzamiento se retrasó indefinidamente debido a la resistencia de los grupos de privacidad.

En 2021, CyberTipline informó que había alertado a las autoridades sobre “más de 4260 nuevas posibles víctimas infantiles”. Los hijos de Mark y Cassio figuraban en esa cifra.

‘No se había cometido ningún delito’

En diciembre de 2021, a Mark le llegó un sobre por correo del Departamento de Policía de San Francisco. Se trataba de una carta donde se le informaba que se había iniciado una investigación en su contra; también incluía copias de las órdenes de búsqueda que se le habían entregado a Google y a su proveedor de servicios de internet. Un investigador había solicitado todo lo relacionado con la cuenta de Google de Mark: sus búsquedas de internet, su historial de ubicaciones, sus mensajes y cualquier documento, fotografía y video que hubiera almacenado en la cuenta que tenía con la empresa.

La búsqueda, relacionada con “videos de explotación infantil”, había sucedido en febrero, una semana después de que tomó las fotografías de su hijo.

Mark llamó al investigador, Nicholas Hillard, quien le informó que el caso estaba cerrado. Hillard había tratado de comunicarse con Mark, pero ni su teléfono ni su cuenta de correo electrónico habían funcionado.

“Determiné que el incidente no cumplía con los elementos de un delito y que no se había cometido ningún delito”, escribió Hillard en su informe. La policía tuvo acceso a toda la información que Google tenía sobre Mark y decidió que no constituía abuso o explotación infantil.

Mark preguntó si Hillard podía decirle a Google que era inocente para poder recuperar su cuenta.

“Tienes que hablar con Google”, dijo Hillard, según Mark. “Yo no puedo hacer nada”.

Mark presentó otra apelación ante Google, a la cual adjuntó el informe de la policía, pero no sirvió de nada. Después de recibir un aviso hace dos meses de que su cuenta se eliminaría de forma permanente, Mark habló con un abogado sobre la posibilidad de demandar a Google y cuánto podría costar.

“Decidí que probablemente no valía 7000 dólares”, dijo.

Kate Klonick, una profesora de derecho en la Universidad St. John’s que ha escrito sobre la moderación de contenido en línea, dijo que puede ser un desafío “notar las cosas que son invisibles en una foto, como el comportamiento de las personas que comparten una imagen o las intenciones de la persona que la tomó”. Los falsos positivos, en los que se denuncia erróneamente a las personas, son inevitables por los miles de millones de imágenes que se escanean. Si bien la mayoría de la gente probablemente considera que vale la pena, dado el beneficio de identificar a los niños abusados, Klonick dijo que las empresas deben implementar un “proceso sólido” para investigar y resarcir a las personas inocentes que han sido marcadas de manera errónea.

“Esto sería problemático si solo fuera un caso de censura y moderación de contenido”, dijo Klonick. “Pero esto es doblemente peligroso porque también involucra que alguien sea denunciado ante las fuerzas del orden”.

Podría haber sido peor, dijo, con un padre que podría perder la custodia de un niño. “Se puede imaginar cómo podría escalar esto”, dijo Klonick.

A Cassio también lo investigó la policía. Un detective del Departamento de Policía de Houston lo llamó el otoño pasado, para pedirle que fuera a la estación.

Después de que Cassio le mostró al detective los mensajes que había intercambiado con el pediatra, lo absolvieron de inmediato. Pero tampoco pudo recuperar la cuenta de Google que tenía desde hace años, a pesar de ser un usuario que pagaba los servicios de esa compañía. Ahora tiene una cuenta de Hotmail para el correo electrónico, por lo que la gente se burla de él, y hace múltiples copias de seguridad de sus datos.

No necesariamente lo sabes cuando lo ves

No todas las fotos de niños desnudos son pornografía, explotación o abuso. Carissa Byrne Hessick, profesora de derecho de la Universidad de Carolina del Norte que escribe sobre delitos de pornografía infantil, dijo que puede ser complicado definir en términos jurídicos lo que en realidad son imágenes de abuso sexual.

Pero Hessick dijo que estaba de acuerdo con la policía en que las imágenes médicas no cumplían los requisitos. “El menor no sufre abuso”, dijo. “La fotografía se toma por razones que no son sexuales”, agregó.

En el aprendizaje automático, un programa de computadora se entrena al recibir información “correcta” e “incorrecta” hasta que puede distinguir entre ambas. Para evitar marcar fotos de bebés en el baño o niños corriendo desnudos a través de aspersores, la herramienta de Google para reconocer el abuso se entrenó tanto con imágenes de material potencialmente ilegal encontrado por Google en cuentas de usuarios como con imágenes que no eran indicativas de abuso, para darle una comprensión más precisa de qué es lo que debe detectar.

Vi las fotos que le tomó Mark a su hijo. Es comprensible por qué sus fotos activaron la señal de alarma: son fotografías explícitas de los genitales de un menor. Pero el contexto importa: las tomó un padre preocupado por su hijo enfermo.

“Reconocemos que en esta era de telemedicina y, en especial, de COVID-19, los padres han tenido que tomar fotografías de sus hijos a fin de obtener un diagnóstico”, comentó Claire Lilley, directora de operaciones de seguridad infantil de Google. Agregó que la empresa ha consultado a pediatras para que sus revisores humanos entiendan las posibles afecciones que pueden aparecer en las fotografías tomadas por motivos médicos.

Suzanne Haney, presidenta del Consejo sobre Abuso y Negligencia Infantil de la Academia Estadounidense de Pediatría, aconsejó a los padres que no tomen fotografías de los genitales de sus hijos, incluso cuando lo indique un médico.

“Lo último que desea es que un niño se sienta cómodo con alguien que fotografía sus genitales”, dijo Haney. “Si es absolutamente necesario, evite subirlas a la nube y elimínelas de inmediato”.

Dijo que la mayoría de los médicos probablemente desconocían los riesgos de pedirles a los padres que tomaran esas fotos.

“Aplaudo a Google por lo que está haciendo”, dijo Haney sobre los esfuerzos de la empresa para combatir el abuso. “Tenemos un problema horrible. Desafortunadamente, se relaciona con los padres que intentaban hacer lo correcto por sus hijos”.

A principios de este año, un representante del servicio de atención al cliente le dijo a Cassio que enviar las fotos a su mujer a través de Google Hangouts infringía las condiciones del servicio de chat. “No use Hangouts de ninguna manera que explote a los niños”, dicen los términos. “Google tiene una política de tolerancia cero contra este contenido”.

En cuanto al caso de Mark, Lilley, de Google, dijo que los revisores no habían detectado ningún sarpullido ni enrojecimiento en las fotografías que tomó y en la revisión posterior de su cuenta encontraron un video de hacía seis meses que Google también consideró problemático, donde se veía a un menor acostado en la cama con una mujer desnuda.

Mark no recuerda ese video y ya no tiene acceso a él, pero comentó que parecía ser un momento privado que había sentido la necesidad de conservar, sin darse cuenta de que alguien más podría verlo o juzgarlo.

“Me lo puedo imaginar. Me levanté una mañana. Era un día hermoso con mi esposa e hijo y quise registrar el momento”, comentó Mark. “Si tan solo durmiéramos con pijama, podríamos haber evitado esto”.

Una vocera de Google dijo que la empresa respalda sus decisiones, aunque las fuerzas del orden hayan exculpado a los dos hombres.

Culpable por defecto

Hessick, la profesora de derecho, dijo que la cooperación que las empresas de tecnología brindan a las fuerzas del orden para abordar y erradicar el abuso sexual infantil es “increíblemente importante”, pero piensa que se deben implementar correcciones.

“Desde la perspectiva de Google, es más fácil simplemente negarles a estas personas el uso de sus servicios”, especuló. De lo contrario, la empresa tendría que resolver preguntas más difíciles sobre “cuál es el comportamiento apropiado con los niños y qué es apropiado fotografiar o no”.

Mark todavía tiene la esperanza de poder recuperar su información. La policía de San Francisco tiene el contenido de su cuenta de Google preservado en una memoria USB. Mark está tratando de obtener una copia. Un portavoz de la policía dijo que el departamento quiere ayudarlo.

Nico Grant colaboró en este reportaje. Susan C. Beachy colaboró en la investigación.