No trae muy buenas noticias la evaluación de los sitios web del Estado realizada por la Universidad de Chile, pero al menos el Estado se hace de una muy buena herramienta

Hace unas semanas se entregaron los resultados del estudio Modelo de Evaluación de Calidad Web y Servicios Digitales para la Secretaría de Gobierno Digital, que buscaba desarrollar y evaluar la calidad de la presencia web de los servicios públicos, desarrollado por el Sistema de Servicios de Información y Bibliotecas (SISIB) de la Universidad de Chile.

Para ello el SISIB desarrolló un enfoque metodológico adoptando las mejores prácticas y estándares internacionales y a partir de ese marco metodológico realizar una evaluación a algunos sitios del Estado.

Cabe desatacar que si bien el testeo del instrumento no arrojó buenos resultados en los sitios aplicados, una gran noticia es que el Estado obtuvo una muy buena herramienta para mejorar la calidad de la presencia web. Gran aporte del SISIB al desarrollo digital del Estado.

Fases del Modelo de Evaluación

Fase 1: Diagnóstico y Levantamiento de Información

• Se utilizó una triangulación de técnicas de investigación, combinando fuentes primarias (entrevistas y mesas de trabajo) y secundarias (documentación gubernamental y literatura académica) .
• Se aplicó la técnica de revisión sistematizada de literatura para identificar buenas prácticas y estándares de referencia en e-Government a nivel internacional .
• Se realizó un benchmark con experiencias nacionales e internacionales sobre calidad web.

Fase 2: Definición de Estándares y Criterios de Evaluación

• Se establecieron factores de calidad web basados en tres enfoques:  i) funcional: Relacionado con aspectos técnicos y de seguridad, ii) estratégico: Enfocado en la alineación con los objetivos institucionales y  iii) experiencial: Considera la usabilidad, accesibilidad y experiencia del usuario .
• Se diseñó un sistema de puntuación basado en preguntas de chequeo, organizadas en niveles de cumplimiento (imprescindible, esperable y deseable) .
• Se definieron dimensiones de evaluación, incluyendo accesibilidad, usabilidad, seguridad, interoperabilidad y transparencia .

Fase 3: Creación del Instrumento de Evaluación

• Se desarrolló un instrumento de evaluación en formato checklist, para su fácil aplicación y replicabilidad en distintas instituciones .
• Se realizó un piloto con 40 sitios web, representando ministerios, gobiernos regionales, superintendencias, municipios y servicios públicos .
• e incorporaron indicadores de calidad web y servicios digitales transaccionales, con ponderaciones específicas para cada dimensión.

Fase 4: Aplicación y Validación del Modelo

• Se ejecutó una prueba piloto para ajustar el instrumento antes de su aplicación masiva .
• Se realizó una auto-evaluación para permitir que las propias instituciones identifiquen sus áreas de mejora .
• Se entregó una guía metodológica con manuales de aplicación y recomendaciones de mejora para cada organismo público .

Principales deficiencias en los Sitios Web del Estado

Los errores más críticos detectados en la evaluación de los sitios web del Estado se agrupan en cuatro grandes áreas: Tecnología y Seguridad, Experiencia de Usuario y Usabilidad, Gobernanza y Gestión Digital, y Transparencia y Datos Abiertos. A continuación, se detallan los aspectos clave de cada una:

1. Tecnología y Seguridad

Esta área presenta los problemas más graves, ya que afecta la estabilidad, la accesibilidad y la seguridad de los servicios digitales del Estado.

• Infraestructura obsoleta: Muchos sitios aún funcionan con tecnologías antiguas, lo que limita su rendimiento y seguridad .
• Falta de seguridad: Uso inadecuado de certificados SSL/TLS, lo que expone a los usuarios a riesgos de suplantación de identidad y filtración de datos .
• Baja compatibilidad con dispositivos móviles: Muchos portales no aplican el enfoque “Mobile First”, afectando a los usuarios que acceden desde celulares y tablets .
• Falta de mantenimiento y actualizaciones: Muchas plataformas presentan fallas recurrentes debido a una gestión ineficiente del mantenimiento tecnológico .
• Ausencia de planes de contingencia: No existen procedimientos claros para mitigar caídas de los sitios o interrupciones en los servicios digitales.

2. Experiencia de Usuario y Usabilidad

Las deficiencias en la usabilidad afectan directamente a la ciudadanía, generando frustración y aumentando la necesidad de asistencia presencial.

• Lenguaje técnico y burocrático: La información está escrita en términos administrativos complejos, dificultando la comprensión de los trámites .
• Navegación poco intuitiva: Los usuarios tienen dificultades para encontrar información clave debido a una mala arquitectura de la información y opciones de búsqueda ineficientes .
• Falta de accesibilidad web: No se cumplen estándares internacionales (WCAG 2.1), lo que excluye a personas con discapacidad visual, auditiva o motora .
• Proceso de trámites engorroso: Excesivos pasos para completar trámites en línea, lo que incentiva a los ciudadanos a optar por la atención presencial .
• Deficiencias en la retroalimentación: Los usuarios no reciben confirmaciones claras sobre el estado de sus trámites ni recordatorios de plazos.

3. Gobernanza y Gestión Digital

Los problemas en esta área impiden una estrategia unificada para la modernización del Estado y afectan la calidad de los servicios digitales.

• Falta de coordinación entre organismos: No existe interoperabilidad efectiva entre entidades públicas, lo que genera duplicidad de información y procesos innecesarios .
• Baja inversión en digitalización: Los sitios web y servicios digitales no cuentan con presupuestos adecuados para su mejora y mantenimiento .
• Ausencia de indicadores de calidad: No se miden de manera uniforme la satisfacción del usuario ni la eficiencia de los servicios digitales .
• Resistencia al cambio: Falta de capacitación del personal en herramientas digitales y nuevas metodologías de diseño centrado en el usuario.

4. Transparencia y Datos Abiertos

La falta de acceso a la información pública en formatos adecuados afecta la confianza ciudadana y limita la reutilización de datos para innovación.

• Publicación deficiente de información: No se actualizan de manera periódica datos clave sobre normativas, presupuestos y gestión de trámites .
• Poca interoperabilidad de datos abiertos: No hay integración efectiva entre sistemas de información gubernamental, lo que dificulta el acceso a bases de datos públicas .
• Baja participación ciudadana en la mejora de servicios digitales: No existen suficientes mecanismos de consulta pública sobre la calidad de los sitios web .
• Falta de herramientas interactivas: Escasa implementación de chatbots, asistentes virtuales o mecanismos de consulta en línea.

Información complementaria

Les dejo el muy buen informe del SISIB, material de consulta para desarrollar nuevas plataformas web y/o servicios digitales.

La entrada Evaluación de sitios web del Estado se publicó primero en Escritorio de Alejandro Barros.

Hace ya un tiempo que estamos viendo que la web está incrementando en forma significativa la cantidad de contenidos generados automáticamente, hay varios que se preguntan ¿cuál será el impacto de esto? y ¿cuáles son los desafíos que presentan a futuro?

Hace ya unos meses que hemos visto un importante debate respecto de nuevas herramientas, basadas en modelos y algoritmos de Inteligencia Artificial, para generar contenidos en forma automática, algunos con propósitos dudosos como los videos del tipo deepfake herramienta muy poderosa que puede ser usada para profundizar los procesos de desinformación, y otros con propósitos supuestamente bastante más loables como Dall-E y ChatGPT, en los que también aparecen algunas dudas, por ejemplo vinculados a los temas de propiedad intelectual, derecho de autor y otros más pedestres como su uso en actividades de plagio (academia).

Algunos ejemplos: Dall-E y ChatGPT

Algunos ejemplos de Dall-E y ChatGPT y así como estas existen otras herramientas similares y de seguro a futuro existirán más.

En primer lugar el caso de imágenes de personas inexistentes generadas por Dall-E como la de este niño

O bien lo que se puede hacer con ChatGPT, aquí les dejo un par de ejemplos que me parecieron graciosos, en base a la pregunta

 ¿Cómo sería el inicio del Señor de los Anillos escrito por Pablo Neruda o Nicanor Parra?

o Nicanor Parra

Este es un ejemplo gracioso y no muy útil, pero estas herramientas podrían ser usado para desarrollar informes, documentos, cartas y un largo etcétera. En algunos casos, muy similares a lo que podría escribir una persona, el sueño dorado de un estudiante mediocre al cual se le encarga un ensayo, incluso en algunos lugares, Colegios de Nueva York ya bloquearon el acceso a ChatGPT, una medida más bien mediática que útil.

El Bosque Oscuro 

Estas últimas herramientas y la proliferación de contenidos generados en forma automática, harán que como lo plantea Maggie Appleton en su blog, los humanos se retiren, y la web se convierta en un gran repositorio de contenidos generados por algoritmos.

Appleton plantea que los seres humanos, desaparecerán de la web, reemplazados por: bots, algoritmos, y contenidos generados por algún software basado en Inteligencia Artificial, y si bien no comparto del todo su predicción, es bastante de certero en su análisis.

En uno de sus últimos ensayos, recomiendo su lectura, La expansión del bosque oscuro y la generación de contenido por IA, Appleton, plantea algunas reflexiones sobre los desafíos que tenemos los seres humanos para discriminar entre contenidos generados en forma automática y aquellos generados por una persona de carne y hueso.

En el mismo post, plantea que existen múltiples capas en la Web que conviven (Dark Forest, Cozy Web y Dark Web) y con habitantes y usuarios muy diferentes en cada una de ellas.

De hecho plantea, que la Web Acogedora o Cozy Web, definida por Venkatesh Rao, escritor y consultor residente en Los Angeles, refiriéndose a espacios privados y cerrados de Internet a los que todos nos hemos retirado en los últimos años.

«Espacio de los tugurios, con muchos guardianes, que comprende slacks, aplicaciones de mensajería, grupos privados, servicios de almacenamiento como Dropbox y, por supuesto, el correo electrónico. El espacio informal, no rastreado y desordenadamente humano en el que los bots y los algoritmos aún no se han infiltrado”.

Venkatesh Rao

Appleton plantea algunas preguntas y da sus recomendaciones respecto de:

¿Cómo demostrarías que no eres un modelo lingüístico que genera texto predictivo? ¿Qué trucos especiales puedes hacer que un modelo lingüístico no pueda?nbsp;

Para lo cual recomienda estas cuatro acciones:

1. Usar la realidad objetiva,
2. Ser original, crítico y sofisticado,
3. Desarrollar particularidades creativas del lenguaje, dialectos, memes y jergas y
4. Considerar la verificación institucional.

No es el primero que plantea desafíos frente a lo que ocurre en la web

Desde hace algunos años varios expertos y autores han planteado desafíos importantes que los usuarios de la Web están enfrentado y que a futuro, si las predicciones de Appleton se concretan no hará más que aumentar, recordemos algunos de ellos: 

• El planteamiento sobre Capitalismo de Vigilancia de Shoshana Zuboff

• La falta de neutralidad y sesgos en las búsquedas destacado por Eli Pariser

• Los múltiple sesgos en la Web desde hace tiempo estudiado por Ricardo Baeza

• Los cambios neurológicos provocados por el uso de Internet que pueden mermar nuestra capacidad de concentración profunda durante periodos prolongados, relatados por Nicholas Carr en su libro The Shallow

• y finalmente los problemas de la desinformación y el fin de las redes sociales como las conocemos planteado por Ian Bogost.

Estos planteamientos no hacen más que poner de manifiesto nuevamente la necesidad de tener una mirada crítica de lo que podemos encontrar en la Web.

Foto de Keagan Henman en Unsplash

La entrada La Web que se viene y el Bosque Oscuro se publicó primero en Escritorio de Alejandro Barros.

Existe la creencia de que las búsquedas que se realizan en Google son neutras, varios casos muestran lo contrario …

El tema de los sesgos de los buscadores, es  de larga data y bastante polémico por decir lo menos, es probable que esta polémica se reduciría si los algoritmos que hay detrás no fueran cajas negras. Ya con anterioridad he levantado el tema en este espacio, por ejemplo el análisis que hizo el periodista Eli Pariser y que documentó en el libro The Filter Bubble hace 10 años demostrando que las búsquedas en Google no son neutras, o los análisis que ha realizado frecuentemente Ricardo Baeza en el tema.

En el caso de google tanto sus ejecutivos (producto de la citación a declarar al congreso norteamericano) como también muchos google lovers, argumentan que no hay tal práctica.

Muchos textos invocan ejemplos de los sesgos que se producen a la hora de revisar la funcionalidad de autocompletar.  Quizás uno de los ejemplos más mediáticos fue el caso de Hillary Clinton en el 2016 en que al tipear “Hillary Clinton cri,”, proponía “Hillary Clinton crisis”, muchos decían que la función autocomplete estaba vinculada a las búsquedas de mayor frecuencia, pero el buscador NO proponía «Hillary Clinton crimes», texto más buscado en esa época. Al ser consultados ejecutivos de Google de la época, decían respecto de la función y porque se producía el efecto señalado: “el algoritmo de autocompletar evita a propósito sugerir palabras ofensivas junto con el nombre de cualquier persona.”

Otro de los ejemplos estudiados son los sesgos de género y etnias, como lo demuestra el estudio “Google Autocomplete Search Algorithms and the Arabs’ Perspectives on Gender: A Case Study of Google Egypt”  (2020), algunas de sus conclusiones fueron:

En Egipto, hay muchos estereotipos de género que están profundamente arraigados en las sociedades árabes. Los rasgos más comunes vinculados a los hombres son que son tramposos, mentirosos, autodominantes, emocionalmente fuertes, más inteligentes que las mujeres y que desean la poligamia. Los hombres también fueron estereotipados como más propensos a admirar a las mujeres jóvenes, y prefieren a los hijos varones sobre las hijas. Las mujeres, en cambio, fueron estereotipadas como conspiradoras, materialistas, emocionales y sensibles. 

La función de autocompletar sirve como un mecanismo eficiente para ahorrar el tiempo y el esfuerzo de las personas. Sin embargo, puede considerarse un indicador preocupante de cómo la tecnología se entromete para completar los pensamientos de los usuarios. 

Los estereotipos sugeridos por el autocompletado de Google no siempre son un reflejo exacto de la percepción colectiva«

Otros ejemplos de sesgos de dicha función los relevó también el periódico The Guardian en artículo de mayo de 2018, en el cual se muestran ejemplos asociados a religión (Islam) y figuras históricas.

Por su parte, en el estudio “Evaluation identity bios in GPT-3 and Google Search autocompletion”  de enero 2022 desarrollado por DisinfoLab, organización sin fines de lucro dedicada a monitorear campañas de desinformación en la Unión Europea, el cual muestra que luego de evaluar 1,645 casos, el 30,15% correspondieron a sesgos negativos, y de ellos la mayor cantidad corresponde a sesgos respecto de la sexualidad (45,26%) y luego género (41,87%).

Otro de los ejemplos de este tipo de sesgos, son los vinculados al traductor de Google cuando por ejemplo respecto de ciertas profesiones, cuando traduce desde el español a un idioma que no diferencia entre género, por ejemplo: médico o médica, para el mismo concepto y lo traduces de vuelta asume género masculino. Incluso Shoshana Zuboff en su estudio sobre el Capitalismo de Vigilancia muestra variados ejemplos de sesgos en las búsquedas motivados por un interés comercial.

Algunos ejemplos locales

Hace unos días me pregunté que ocurre en nuestro país, a lo cual hice el siguiente ejercicio, tomar el apellido de nuestros tres últimos presidentes Michelle Bachelet, Sebastián Piñera y Gabriel Boric, y ver que propone Google para el auto completado, aquí los resultados (resultados corresponden a búsquedas realizadas el día 15/7/2022 a las 20:25):

bachelet es …

piñera es …

boric es …

Cosas que llaman la atención

• Sólo para Michelle Bachelet  propone foto y que fue presidenta de la república, en el caso de Piñera y Boric no hay referencias a la presidencia de la república, ni tampoco foto.

• Para Sebastián Piñera no propone profesión como si lo hace para Bachelet y Boric.

• En el caso del presidente Piñera, aparece en primer lugar como dueño de una empresa, y uno de los textos que propone es “piñera es descendiente inca”

• En el caso de Boric, las últimas dos propuestas son: “boric es mechero” y “boric es tonto”

Como una forma de validar realice un análisis por la vía de Google Trends de los patrones más buscados en los últimos 12 meses en Chile para las palabras Bachelet, Piñera, Boric, les adjunto el ranking:

Como se puede apreciar hay varias de las respuestas del autocompletado que no tienen relación con los textos más buscados por los usuarios.

Dejo a ustedes las conclusiones

Información Complementaria

• Google Autocomplete Search Algorithms and the Arabs’ Perspectives on Gender: A Case Study of Google Egypt  (2020)

• An Investigation of Biases in Web Search Engine Query Suggestions (2019)

• Bias on the Web, Ricardo Baeza Yates (2018)

Foto de Mitchell Luo en Unsplash

La entrada ¿Tiene sesgos la función autocompletar de Google? se publicó primero en Escritorio de Alejandro Barros.

¿Nuestra internet puede absorber el importante incremento de demanda?

Desde hace unos días, varios países de la región han tomado medidas bastante más drásticas para contener el contagio de Coronavirus, lo cual se ha visto expresado en incentivar que las personas se queden en sus casas. Para ello el teletrabajo y la enseñanza a distancia se han transformado en el nuevo estándar.  Con estas nuevas formas de interactuar ha surgido en muchos lugares la pregunta:

¿Con todo ese tráfico adicional, va a aguantar la Internet?

Pregunta válida, ya que en los últimos días la demanda ha aumentado significativamente, en forma masiva alumnos y profesores de todo el sistema educativo hacen uso de plataformas de e-learning,  el teletrabajo presiona fuertemente por el uso de herramientas de videoconferencias y reuniones a distancia, tales como: Zoom, Teams, Skype, Google Meet y otros.  Finalmente las personas en sus casas sin poder salir, hacen uso intensivo de plataformas entretenimiento y streaming como es el caso de Netflix, Amazon y HBO.

Todo esto ha aumentado el consumo de ancho de banda, las compañías de Telecomunicaciones están preocupadas al respecto, y hemos visto varias iniciativas en otras regiones, en particular Europa, tales como:

• Reducir la calidad del contenido, de forma de bajar el consumo de ancho de banda, medida adoptada por Netflix para Europa.
• Otros proveedores de contenido en la misma dirección, tales como YouTube y Amazon Prime.

• En el día de hoy [24-3-2020]
  • Se anunció similar medida por parte de Netflix para América Latina
  • Youtube reduce su calidad a 480p a partir de hoy y por 30 días

Pero será tan así, me refiero a que sí efectivamente ha aumentado el tráfico y que la calidad de servicio se ha deteriorado producto de ello.

Estuve revisando algunas de la métricas que publica PIT Chile, como pueden ver en la gráfica siguiente el incremento de tráfico durante la última semana es de aproximadamente un 30%, por otro lado las empresas de telecomunicaciones móviles han estimado un incremento del 40% supongo que basados en sus métricas internas.

Desde un punto de vista global, la empresa OOKLA, empresa líder en evaluación del desempeño de las conexiones a través de su aplicación SpeedTest realizó una evaluación a nivel global del desempeño de la red y en su post Tracking Covid-19’s impact on global internet performance muestra el comportamiento de las velocidades de bajada y tiempos de latencia en diferentes zonas geográficas.  Los invito a revisarlo, si bien no está la región de América Latina (sólo han analizado México), lo que se puede apreciar en las otras regiones es que hay un crecimiento en el consumo pero este a la fecha no es significativo.

Por otra parte, yo llevo realizado evaluaciones de la conexión de mi casa, si bien no pretendo que sea representativo, durante esta semana la velocidad de bajada ha disminuido en forma consistente.

Por su parte, David Belson, Senior Director, Internet Research and Analysis de la Internet Society ante la disyuntiva de si la Internet es lo suficientemente resiliente, analiza el comportamiento de la red, ya que muchos están preocupados de como la Internet va a manejar la presión e incremento del tráfico y ante esto se hace la pregunta: ¿puede causar una falla catastrófica de la internet?  

su respuesta es:

No es probable

Debo decir que comparto la opinión de Belson, pero lo que sí es claro es que vamos a tener un servicio con peor calidad que la que teníamos hace unas semanas.

De mi paseo por diversas entidades, pude ver que hay poca información pública respecto del tráfico, revisando varios de los sitios web de PIT’s (IXP) en la región y en Europa, son pocos los que tienen información relevante para este análisis.

Aún no hemos escuchado a los Reguladores en el tema, ya que en el caso que tengan que tomar medidas, algunas pueden atentar con otras regulaciones existentes, por ejemplo las de neutralidad en la red.  

En el caso de la FCC (regulador de los Estados Unidos) no pude encontrar nada vinculado al incremento de tráfico, pero si tiene una Iniciativa denominada Keeps American Connected que me pareció interesante, la cual apunta más a temas de carácter comercial, por ejemplo: no se puede suspender el servicio a clientes residenciales o de pequeñas empresas debido a su incapacidad para pagar sus facturas debido a las interrupciones causadas por la pandemia de coronavirus.

En todos los países de la región tanto empresas como reguladores están tomando medidas.

El regulador chileno SUBTEL envió un oficio a las compañías de Telecomunicaciones (Movistar, Wom, VTR, GTD, Entel, Claro y Mundo Pacífico) el día 16 de marzo solicitando información respecto de las medidas que están tomando para enfrentar el Coronavirus.

A lo cual las respuestas asociadas el incremento de tráfico se mueven entre el 30% y 40% para los ultimos, un ejemplo de ello es la respuesta de VTR

En Estados Unidos la compañía de telecomunicaciones Verizon analizó y llegó a la conclusión de que el incremento de tráfico era de aproximadamente 20% y las áreas afectadas eran:

Aquí les dejo una cápsula sobre el tema para el medio de comunicación La Tercera TV

De lo que sí estamos claros es que en las próximas semanas el aumento del tráfico va ser considerable, pero según diversos analistas aún existe capacidad instalada para poder manejarlo, veremos si están en lo cierto.

Foto de Brett Sayles en Pexels

La entrada [Actualizado] ¿Cuánto más aguanta la Internet? se publicó primero en Escritorio de Alejandro Barros.

Los algoritmos hoy en día, están presentes en muchos espacios de nuestra vida, y muchos de ellos están influenciado nuestras decisiones en diferentes aspectos de nuestra convivencia, no sólo en forma positiva

Hace ya bastante tiempo que el director de la Revista Mensaje, Tony Mifsud S.J., revista de la que he sido colaborador en varias oportunidades me había pedido escribiera un artículo y estaba en deuda.

Finalmente, encontré un tema y se lo propuse, además le dije lo voy a escribir a 4 manos, con el bueno de Enzo Abbagliati, amigo de la casa, con quien me ha tocado dar varias batallas en estos ámbitos, profesional destacado en estos temas; que le ha tocado (y le toca) estar en la trinchera de la gestión de medios digitales, definiendo y ejecutando estrategias digitales a personas e instituciones.

Le plantee el tema a Enzo, y enganchó de inmediato, luego de eso, nos pusimos manos a la obra, nuestra idea era mostrar los conceptos que hay tras el tema de los algoritmos y el procesamiento automático, y como estos, están afectando nuestra convivencia cotidiana en diferentes ámbitos de la vida (político, decisiones de consumo, ético, social y otros), acompañándolo de ejemplos idealmente locales, que permitieran graficar el punto. Este es un tema en el que he incursionado desde hace tiempo, en particular lo referido a los Sesgos en la Web y a ciertas miradas algo más tecno-pesimistas.

Hace unos días nos enviaron la última versión del artículo, el cual aparecerá en la revista Mensaje en su número de Octubre de 2019, especialmente dedicado a temáticas vinculadas con nuestra convivencia, disponible a partir del próximo lunes.

Aunque viene de cerca la recomendación nos quedó bastante bueno y con harta documentación de referencia, desde aquí lo pueden descargar.

La entrada La algoritmificación de nuestra convivencia se publicó primero en Escritorio de Alejandro Barros.