Siempre he pensando que hay índices para todos los gustos, y este no es la excepción

Hace unas semanas salió una nueva versión del Índice de Gobierno Digital de OCDE 2023, la segunda versión, la primera fue en 2019, y tenía carácter de iniciativa piloto.

En este tema de los rankings e indicadores, debo decir que muchas instituciones tanto nacionales como internacionales, buscan tener “su ranking”, incluso se hacen promesas de establecer un indicador que se mantiene en el tiempo, con una metodología rigurosa y abierta, promesa que en muchos casos no se cumple. 

Algunos ejemplos de índices que han partido con esas promesa y a corto andar mueren, en nuestro país tenemos un par de casos emblemáticos, me refiero al índice de la Fundación País Digital y a la empresa Movistar.  A nivel internacional hay varios casos de indicadores que presentan serias dudas, la Universidad japonesa de Waseda y de National Cyber Security Index (NCSI) de Estonia.

Esta nueva versión del Índice de Gobierno Digital de OCDE, al igual que la anterior mantiene las mismas 6 dimensiones, la información para la generación del indicador fue con datos levantados en el periodo que va desde enero-2020 y octubre-2022. Las dimensiones corresponden a:

• Digital desde el diseño
• Sector Público basado en datos
• Gobierno como plataforma
• Abierto por defecto
• Centrado en el usuario y 
• ⁠Proactividad

En esta oportunidad el índice viene con malas noticias para nuestro país, quedamos en el lugar 32 de 33 países OCDE evaluados, si bien se evaluaron otros países de la región de América Latina pero no se incluyen en el ranking por no ser países miembros de dicha organización.  Chile obtuvo su mejor índice en la dimensión Proactividad y el de peor desempeño Abierto por defecto, a pesar de los esfuerzos en materias de acceso a la información y las políticas y  portales de datos abiertos, nuestro desempeño deja bastante que desear.

Los expertos de OCDE me han planteado y también lo declara el documento metodológico que este indicador no es comparable con otros similares, pero incluso con esa salvedad hay varias cosas que llaman la atención. 

Si se analizan las posiciones relativas de los países de la región de América Latina entre la última versión del indice de Naciones Unidas (2022) en su dimensión E-Government Development Index y el de OCDE en su para la dimensión Digital by Design se obtienen diferencias muy significativas, por ejemplo Colombia pasa del primer lugar al último.

Otra cosa llamativa, es las posiciones relativas de ciertos países, por ejemplo el caso de Colombia, que se encuentra en la posición 7 justo por debajo de Estonia y por sobre Irlanda, Canadá, Finlandia y España.  En todos los otros rankings estos países aparecen muy por sobre Colombia.

Algunas consideraciones del Índice

Al igual que en la versión anterior, hay varias consideraciones que hacen los autores que llevan al menos a mi a plantearme varias dudas acerca del indicador.

• Varios países no fueron incluidos en el índices tales como: Alemania, Grecia, Eslovaquia, Suiza y Estados Unidos. Estamos hablando de países con alto nivel de desarrollo digital en varios índices.

• Si bien tiene las mismas dimensiones, desde la OCDE plantean que la versión 2023 no es comparable con la versión del 2019 (como lo plantea el documento de presentación del índice). Pero al menos sería interesante tener un «proxy» que permita cierta comparabilidad.

• Adicionalmente plantean que el indicador no es comparable con otros índices que miden temas similares, tales como el de Naciones Unidas, Banco Mundial y la ITU. Si bien hay diferencias importantes entre los diferentes indicadores, cambios tan relevantes en posiciones relativas no se entienden del todo.

Con estas “particularidades” quedan serias dudas de la real utilidad de este ranking, al menos en esta versión, habrá que esperar futuras entregas para tener un juicio más definitivo, porque un uso interesante de los rankings es evaluar la serie de tiempo y analizar el comportamiento y la trayectoria de los países en el tiempo, como lo realice hace algunos años para el indicador de Naciones Unidas en el cual intenté hacer una evaluación de trayectorias de los países y no sólo quedarme con la foto del momento.

Artículo en el Diario Financiero de hace unos días

Índice Gobierno Digital – OCDE 2023

La entrada Nuevo Índice OCDE, malas noticias y algunas dudas se publicó primero en Escritorio de Alejandro Barros.

Europa sigue avanzado a paso firme en Datos Abiertos …

Recientemente (diciembre-2021) fue publicado la última evaluación de madurez de datos abiertos de los países de la unión europea – Open Data Maturity Report 2021.

Esta evaluación que se viene desarrollando anualmente desde 2015 y muestra avances significativos de casi todos los países.  El método evaluación se centra en 4 dimensiones, las dimensiones de impacto y calidad se agregaron a partir de la evaluación del 2018.  En cada una de estas dimensiones se identifican un conjunto de métricas:

• Política pública, la cual se se centra en las políticas y estrategias de datos abiertos de los países. Las métricas a evaluar en este ámbito son: marco de referencia de la política pública, gobernanza de los datos abiertos e implementación de los datos abiertos

• Impacto, en esta dimensión se analizan el uso y re-uso de los conjuntos de datos disponibles. Las métricas son: nivel de sensibilización del uso de datos, impacto político, social, medioambiental y económico.

• Portal, evalua los portales de datos abiertos, sus funcionalidades y características. Las métricas son: características del portal, uso del portal, entrega de datos y susutentabilidad del portal.

• Calidad, analiza los mecanismos de aseguramiento de calidad de los datos. Las métricas son: nivel de actualización de la metadata, seguimiento y medidas de medición de la calidad, cumplimiento del estándar DCAT de la W3C (vocabulario y catálogo), calidad del despliegue y datos vinculados.

La dimensión de Política Pública es la que obtiene en promedio la evaluación más alta con 87% y Calidad la más baja con 77%.  La que tuvo más avance en 2021 fue la de Impacto.

Resultados

Los resultados generales más destacados de esta evaluación, son fundamentales 3 esto es,

• Los estado miembros han comenzado a transformar sus marcos normativos en leyes nacionales, lo cual le ha dado un mayor nivel de fuerza en el proceso de apertura de datos.

• El análisis del uso e impacto de los datos abiertos se ha transformado en un elemento sustancial, ya no basta con publicar, los datos deben ser útiles para usos tanto privados como públicos.

• En 2021 los datos vinculados al COVID han demostrado la relevancia del acceso y uso de datos como una forma de potenciar políticas públicas basadas en evidencia.

¿Cómo les fue a los países?

Cómo resultado de la evaluación, la Unión Europea identifica 4 categorías, siendo Francia el mejor ubicado en ranking con 97,5% puntos de una escala de 0 a 100, la evaluación contempla además de los países que formalmente forman parte de la unión a otros estados.  Las categorías identificadas son:

• Marcan-tendencia: Francia, Irlanda, España, Polonia, Estonia y Ucrania.

• Seguidores avanzados:  Austria, Italia, Eslovenia, Países Bajos, Chipre, Dinamarca y Noruega, Lituania y Alemania.

• Seguidores:  Finlandia, Suecia, Croacia, Grecia, Bulgaria, Letonia, Rumanía y República Checa

• Principiantes: Luxemburgo, Portugal, Suiza, Reino Unido, Islandia, Hungría, Bélgica, Montenegro, Malta, Eslovaquia y Georgia.

Algunas conclusiones interesantes, i) buenos avances de los países y ii) foco en el impacto. En todo caso, llama la atención que el Reino Unido uno de los países que iniciaron el proceso de apertura de datos, se encuentre tan rezagado, lo que demuestra una vez más que no basta con ser el primero, hay que sostener en el tiempo la política pública. Por otro lado los paraísos financieros Luxemburgo y Suiza los más retrasados, suena lógico cierto.

Les dejo por aquí el informe – Open Data Maturity Report 2021.

La entrada Datos Abiertos en Europa mejoran! se publicó primero en Escritorio de Alejandro Barros.

Interesante indicador de Desarrollo de Digital del Estado, eso si, me hace ruido el nombre que le pusieron

Hace unos días el Banco Mundial lanzó un nuevo indicador de desarrollo digital de los estados, denominado GovTech Maturity Index (GMTI) con datos hasta diciembre de 2020. Aquí hago un análisis preliminar del mismo, sus dimensiones, forma de cálculo y cómo le fue a la región de América Latina. Al final del artículo está el documento completo por si lo quieren descargar..

Dimensiones

Partamos por las dimensiones consideradas, las cuales buscan dar cuenta de las diferentes áreas que un indicador como este debe contemplar, por tratarse de una problemática multidimensional, crítica que hacen los expertos del Banco Mundial a otros indicadores que tienen una mirada parcial.

• Índice de sistemas core de gobierno (CGSI): Basado en 15 indicadores, que miden algunos de los aspectos de base del desarrollo digital del estado en particular sus sistemas y plataformas base, mecanismo de interoperabilidad, arquitectura, uso de soluciones open source y tecnologías disruptivas.  Como parte de este indicador se miden además algunos aspectos de infraestructura tecnológica.

• Índice de entrega de servicios (PSDI): Basado en 6 indicadores compuestos que miden la existencia de portales nacionales de servicios en línea y la madurez de los servicios -informativos o transaccionales.

• Índice de Participación Ciudadana (CEI): Basado en 12 indicadores. Nueve de estos indicadores están relacionados con la participación y la retroalimentación de los ciudadanos y la capacidad de respuesta del gobierno. Se incluyen indicadores relacionados con gobierno abierto.

• Índice de habilitantes GovTech (GTEI): Basado en 15 indicadores, que miden el entorno del desarrollo de gobierno digital y GovTech e incluyen el enfoque de todo el gobierno como una de las prioridades de la agenda digital. También incluyen las competencias digitales, la habilitación y la protección de las instituciones, las leyes y los reglamentos, la estrategia, la ciberseguridad, la firma digital y la innovación en el sector público.

Estas cuatro dimensiones según el Banco Mundial reflejan adecuadamente el desarrollo de los estados en materias Digitales y si bien ya existían otros indicadores, tales como: eGov UN, DGI-OCDE, IDI-ITU, CAF GovTech, NRI-WEF y varios más.  El análisis de los especialistas del Banco Mundial es que las métricas existentes no eran lo suficientemente representativas, esta aseveración estará por verse cuándo ya contemos con una serie que permita hacer un mejor análisis.

Construcción del Índice

El índice se construye como el promedio de estas cuatro dimensiones, las cuales utilizan tanto información interna del Banco Mundial como otros indicadores existentes. Cada dimensión utiliza promedios ponderados para calcular su valor.  Como una forma de validar los ponderadores de los subíndices, característica siempre muy discutida de muchos de estos indicadores, se utilizaron 3 métodos: i) sin ponderación, ii) juicio experto y iii) en base a una evaluación de factores.  

El resultado del índice es un valor entre 0 y 1, el que fue calculado finalmente utilizándotelo la ponderación basado en juicio experto.  El promedio del índice GTMI de los 198 países analizados es de 0.52.

Como una forma de categorizar, se identificaron 4 categorías o grupos según el valor de su índice: Alto o Grupo A (0.86 – 1.00), Medio Alto o Grupo B (0.64 – 0.85), Medio Bajo o Grupo C (0.36 – 0.63) y Bajo o Grupo D (0.18 – 0.35)

La región en el índice

En la gráfica siguiente se puede apreciar el resultado del índice para la región de América Latina y el Caribe

Algunas reflexiones

• Las dimensiones definidas me parecen interesantes y dan muestra de un trabajo exhaustivo para analizar este proceso desde diferentes prismas.

• Identificar las mejores formas de ponderar cada dimensión, es un ejercicio más que necesario, ya que este punto hay mucha discusión.

• La región de América Latina se encuentra bastante bien posicionada comparado con otras regiones, lo cual es una buena noticia, aunque si llaman la atención un par de países que a mi modo de ver debieran estar en la categoría A, me refiero a Costa Rica y Panamá. Pero para analizar esto con mayor profundidad habría que revisar los datos de base.

• Sólo me llama la atención el uso del concepto GovTech para el índice, ya que ese concepto, supone articular un ecosistema de nuevos actores públicos y privados, para colaborar de una manera transversal y abierta  entre diferentes áreas y generar servicios públicos aprovechando los datos y las nuevas tecnologías y el índice no contempla la evaluación de otros actores.

Informe GTMI 2020 Completo

La entrada GTMI: Nuevo Índice de Desarrollo Digital del Estado se publicó primero en Escritorio de Alejandro Barros.

Tratando de entender algunas cosas del nuevo índice de desarrollo digital del Estado, sin mucho éxito debo decir.

Hace unos días conocimos el nuevo indicador de Desarrollo Digital del Estado desarrollado por la organización OCDE (Digital Government Index – 2020 OECD). 

El índice tiene varios elementos interesantes que vale la pena destacar, pero también al menos en mi caso presenta dudas en algunos de sus resultados, las que me atrevo a compartir en este espacio.  

Iniciativa destacable

Lo primero a decir es que se trata de un primer ejercicio, de hecho habla de una versión 1.0 o piloto que viene a aportar al monitoreo de los procesos de digitalización de los estados, conducido por una organización de amplio prestigio técnico como es la OCDE.  

Esta iniciativa plantea desafíos significativos, ya que en el pasado hemos visto múltiples iniciativas de indicadores similares, que se son erráticos o bien al poco tiempo (o versiones) desaparecen, y esto se ha dado tanto a nivel local como internacionales.  En general esto se produce por la complejidad de sostener este tipo de iniciativas en el tiempo.  El único índice en esta área que ha sido perseverante y ya lleva muchas ediciones es el indicador de Gobierno Electrónicos de la división UNDESA de Naciones Unidas con 11 versiones a la fecha y que se viene realizando desde 2001, lo cual permite analizar la evolución de los países, en el pasado he realizado algunos de estos análisis mirando más la evolución o trayectoria de los países que la foto del momento.

Otro elemento destacable del indice de OCDE es que aborda dimensiones que otros indicadores no han abordado en forma sistémica, lo que que permite tener una mirada más holística de los avances de un país.

Otra característica destacable es que a diferencia de muchos iniciativas de índices, incluyendo el de Naciones Unidas es que no detallan adecuadamente el método (dimensiones, variables, pesos y otros elementos).  En este caso está bastante detallado, felicitaciones por eso.

Resultados sorprendentes

Es en este ámbito donde al menos en mi caso que he analizado y desarrollado varios escritos en torno a los principales indicadores de desarrollo digital, me refiero al de Naciones Unidas (eGov-UN), Foro Económico Mundial (NRI-WEF), Unión Internacional de Telecomunicaciones (IDI-ITU), Universidad de Waseda, Unión Europea y otros.

Luego de un análisis en particular de la dimensión Digital por Diseño (Digital by Default) hay algunos resultados que llaman poderosamente la atención.

Esta dimensión si bien tiene elementos adicionales y según explican desde OCDE esto elementos están asociados más al nivel estratégico y de gobernanza, incluye algunos de los aspectos que el indicador de ONU analiza, me refiero a despliegue y uso servicios digitales por parte del estado. 

Al comparar los resultados obtenidos por el estudio OCDE y ONU para el mismo listado de países, se aprecian brechas importantes, que a mi modo de ver no tienen una explicación clara, en la gráfica siguiente se muestran las diferencias entre el índice OCDE en su dimensión Digital by Design y el índice de servicios digitales del Estado de Naciones Unidas.

Probablemente lo más llamativo de este análisis es

• Las diferencias en el ranking OCDE de países como: Colombia, Suecia, Estonia y Finlandia.
• Colombia aparece en el tercer lugar de los países OCDE, lo cual es extremadamente llamativo, ya que en ningún otro índice dicho país ha mostrado ese nivel de desempeño y de hecho es el único país de la muestra en que el índice OCDE supera al de ONU.
• Para el caso de Estonia identificado como una práctica a seguir en muchas referencias, se encuentra en el lugar 18 de los países OCDE incluso por debajo del promedio de los países estudiados.
• El caso de Suecia es también por decir lo menos llamativo, se encuentra en el último lugar de los países analizados, lugar 33, siendo que en el índice de naciones unidas se encuentra en el 5to lugar de la muestra.
• Brasil supera a Estonia en el indicador OCDE, siendo que en el índice de ONU se encuentra en el lugar 31 de la muestra.

Visto desde otro ángulo, cuando se analizan las diferencias de posiciones de los índices de los 33 países en la muestra hay algunos países que muestran grandes diferencias, en la gráfica siguiente se incluyeron los países que tienen diferencias mayores o iguales de nueve posiciones entre ambos rankings.

Es habitual que aparezcan diferencias en estos índices cuando se comparan, producto de sus diferencias metodológicas, pero resulta soprendente la magnitud de estos casos. 

Incluso si lo miramos analizamos con el último índice DESI (Digital Economy and Society Index) de la unión Europea para la dimensión digitalización de servicios público, Estonia aparece en primer lugar y Suecia en la posición 10, por encima del promedio de los países de la Unión Europea.  El caso de Finlandia, aparece en el cuarto lugar, y en el indicador OCDE en lugares de retaguardia.

Creo que sería bueno que en futuras versiones del índice se incorporaran algunos elementos de sensibilización con otras métricas, lo cual generaría alertas en caso de situaciones como las anteriormente descritas.

Puede que existan explicaciones muy razonables para estas brechas, pero de la sola lectura del índice estas no quedan claras.

Información Complementaria

• Metodología Índice de Desarrollo Digital OCDE 2019
• Índice de Desarrollo Digital OCDE 2019
• Índice DESI Unión Europea 2020

La entrada Nuevo Índice de Gobierno Digital se publicó primero en Escritorio de Alejandro Barros.

Hay rankings e indicadores de desarrollo digital casi para todos los gustos, quizás ese es el problema

Hace unas semanas, finalice un estudio de indicadores de desarrollo digital para el sector público, estudio para el Banco de Desarrollo de América Latina – CAF, denominado Modelo de Madurez de Gobierno Digital – Marco Conceptual e Indicadores (Abril-2019), solicitado por Carlos Santiso Director de Innovación Digital en la CAF con quien hemos trabajado en el pasado varios de estos temas.

En el estudio, se analizaron los múltiples indicadores de desarrollo digital de diferentes alcances, tanto nacionales como internacionales, y múltiples enfoques, sectoriales (gobierno digital, datos abiertos, ciberseguridad), de adopción y uso de TI, así como de infraestructura.

Producto del análisis, aquí algunos de los elementos que llaman la atención:

• Existe una gran heterogeneidad para medir el desarrollo digital, tanto en los métodos utilizados, como en la variables.
• Salvo excepciones frecuencias de levantamiento de la información son muy variables.
• Poca comparabilidad entre ellos, de hecho ocurre que en algunos de ellos las posiciones relativas de los países cambian bastante.
• No hay demasiada transparencia a la hora de publicarlos, no se incluyen claramente los métodos, variables intermedias, así como sus pesos, de forma que el usuario pueda hacer sensibilizaciones.
• Algunos de los indicadores a lo largo del tiempo cambian bastante sus método, lo que atenta contra analizar la serie de varios años.
• Los indicadores de alcance local, en general de bastante baja calidad, sea por su método como la sostenibilidad en el tiempo, son escasos los casos en los que hay más de una o dos mediciones, el caso de Chile es un buen ejemplo de esto.

Les dejo un análisis de los indicadores de carácter internacional que son los de mayor cobertura y dimensiones. Y que de alguna forma se utilizan habitualmente para realizar comparaciones.

En el referido estudio, uno de los análisis, fue hacer un ejercicio conceptual de tomar los principales indicadores de desarrollo digital, en particular:

• Índice de gobierno electrónico de Naciones Unidas (eGov-UN)
• Índice IDI de la Unión internacional de telecomunicaciones ITU (IDI-ITI)
• Índice NRI del foro económico mundial (WEF)

Luego normalizarlos en una escala única, con rango entre 1 y 100, ya que tienen diferentes escalas, asignar una ponderación según la propuesta de la tabla siguiente, la cual siempre puede ser discutida, los ponderadores fueron asignados en función de juicio experto, y luego construir un índice compuesto, el que pretende incluir varias dimensiones, con énfasis en el desarrollo del gobierno digital.

Con ello el indicador final compuesto se construye a partir del valor ponderado de eGOV-UN, IDI-ITU y NRI-WEF.

Al aplicarlo a algunos de los países de la región, todos ellos miembros de CAF, y a un par de países referentes de la Unión Europea, se obtiene lo siguiente:

Si por otro lado tomamos algunas variables de desarrollo del sector público, me refiero variables que nos parecen relevantes para este análisis:

• Producto interno bruto per cápita expresado en monedas comparables (paridad de poder adquisitivo – PPA),
• Gasto público en términos relativos, como porcentaje del producto e
• Índice de eficiencia del sector público

Todos estos índices disponibles en el sitio del Banco Mundial y en el portal The Global Economy. 

Al realizar una regresión múltiple, en la cual por un lado tenemos el índice conjunto (calculado anteriormente) y por el otro los índices de desarrollo del sector público, se obtiene el siguiente modelo (tiene R^2 ajustado de 69%):

Al aplicar el modelo al comportamiento de los países de la muestra y analizar las brechas o desviaciones entre el valor real y el esperado a partir del modelo obtenemos las siguientes desviaciones:

Si categorizamos en tres grupos según el valor de la desviación,  es decir aquellos en que su desviación es mayor o igual 3, y que podríamos denominar los países aventajados, luego los que se mueven entre  3 y -3 que su desarrollo digital se encuentra alineado con su desarrollo del sector público. Finalmente, aquellos con un valor inferior a -3, correspondientes a países que se encuentran muy por debajo del lugar que les correspondería según su desarrollo del sector público :

Algunos de los casos que llaman la atención son Uruguay por su desempeño destacado, por el contrario, España y Paraguay destacan por su mala posición, respecto del lugar que les correspondería en función de sus niveles de desarrollo.

La entrada Desarrollo digital versus desarrollo económico se publicó primero en Escritorio de Alejandro Barros.