¿Podemos predecir la ineficiencia en la contratación pública?

Keyword: 
Public procurement
Topic: 
Infraestructure - Transport - Water
Politics and Economy

Inundación del deprimido de la Calle 94, Bogotá (2017). Fuente: El Tiempo

En 2019 el Presupuesto General de Gastos de Bogotá superó los 33 billones de pesos, una cifra récord en la ciudad equivalente al 12% de su PIB. De este monto, alrededor del 80% fue destinado a la contratación de bienes y servicios públicos para la ciudadanía. Autores como Bandiera et al. (2009) sugieren que la mayor parte del malgasto de recursos públicos puede deberse a ineficiencias en la contratación pública, no a corrupción. En el caso de Bogotá, las entidades públicas locales deben invertir una gran cantidad de recursos para asegurar que la ejecución presupuestal es satisfactoria en términos de eficiencia, eficacia, economía y publicidad, sin embargo, la complejidad y magnitud de la contratación pública en ciudades como Bogotá supera la capacidad de vigilancia sobre la ejecución de los recursos públicos por parte de sus entes de control, y como resultado, la materialización de las políticas públicas se ve comprometida.

Por fortuna, innovaciones tecnológicas como las plataformas e-procurement y las buenas prácticas de gobernanza (e.g., la publicación de la información contractual en plataformas de datos abiertos), ponen a disposición de la ciudadanía información valiosa sobre el manejo de los recursos del Estado y descentralizan la capacidad de control y vigilancia. En Colombia, la Agencia Nacional de Contratación Pública – Colombia Compra Eficiente registra la información de los contratos estatales a través de la Plataforma SECOP, cuya información a su vez está disponible en el Portal de Datos Abiertos del Colombia para su consulta.

Con estos insumos, diseñé una herramienta basada en Inteligencia Artificial capaz de predecir qué procesos contractuales del Distrito son más propensos a presentar ineficiencias en su ejecución, entendidas como adiciones o prórrogas en los contratos, con un nivel de precisión superior al 90% y un coste de implementación bajo.

Este proyecto fue elegido por el Banco de Desarrollo de América Latina CAF entre 89 propuestas de 11 países de para ser implementada en la Veeduría Distrital, un ente de vigilancia adscrito a la Administración Distrital de Bogotá cuya principal misión es ejercer funciones control preventivo, con el apoyo del TIC Tank de la Universidad del Rosario. Esta sinergia entre sector público, banca multilateral y academia es también un hito en la implementación de herramientas disruptivas basadas en Inteligencia Artificial para mejorar las capacidades del Estado.

Una mejor capacidad de monitoreo y seguimiento basada en modelos predictivos hace más eficiente la ejecución de recursos públicos, a través de dos canales principales. En primer lugar, reduce la carga en la investigación punitiva y el costo asociado a la sanción social ante eventos en los cuales se hace evidente una mala inversión de los recursos. En segundo lugar, la generación de alertas tempranas desincentiva la entrada al mercado de agentes corruptos o poco competitivos.

Si bien existe una literatura creciente en el uso de modelos predictivos para la solución de problemas públicos, son pocos los antecedentes en el campo de la contratación pública. Aunque desde la academia se ha hecho uso de la información de la plataforma SECOP para predecir riesgo de corrupción a nivel nacional y municipal (Gallego, Rivero, & Martínez, 2021), no hay antecedentes centrados en la identificación de ineficiencias a nivel subnacional ni tampoco en la puesta en producción de este tipo de herramientas en entidades de control.

¿Cómo lo hicimos?

El proyecto parte de un marco de análisis que esquematiza los procesos de contratación pública en tres etapas: pre contractual (en la cual se diseña el proceso y se definen los productos), adjudicación (en la cual se evalúan las propuestas y se elige al proveedor a contratar) y ejecución (en la cual se pueden materializar los riesgos de ineficiencia). Este marco de análisis facilita la definición y clasificación de variables que alimentan el modelo, y posteriormente, la interpretación de su influencia sobre el resultado final.

Debido a que se cuenta con información estructurada de registros administrativos y la variable que se quiere predecir es conocida (adiciones y prórrogas en los contratos), el tipo de modelo que se “entrena” en este caso es de aprendizaje supervisado. La información fue separada en dos grupos, el 70% se utilizó para el entrenamiento de los algoritmos y el 30% restante para probar su capacidad predictiva.

Para la elección del algoritmo con mejor desempeño se entrenaron modelos de clasificación comúnmente usados en la literatura académica y en la industria y se eligió el mejor con base en su desempeño en términos de precisión (mayor número de aciertos en la predicción de contratos que efectivamente tienen adiciones o prórrogas). El algoritmo con mejor desempeño fue Catboost (Prokhorenkova et al., 2019), que fue posteriormente ajustado para reducir sesgos en la predicción provocados por la diferencia entre el número de contratos con ineficiencias y sin ineficiencias, y para evitar otro tipo de problemas que pueden presentarse en estos casos como el sobreajuste de los modelos (i.e., la incapacidad de hacer buenas predicciones sobre nuevos datos producto del sobre entrenamiento con datos específicos). Los algoritmos son capaces además de encontrar patrones comunes entre las variables con mayor peso en la predicción de ineficiencias mediante el uso de una técnica de análisis basada en teoría de juegos llamada SHAP.

¿Qué encontramos?

La capacidad predictiva del algoritmo es robusta, puede clasificar correctamente de manera anticipada 92 de cada 100 contratos que presentan adiciones. El modelo además de un alto grado de precisión sin provocar problemas como sobre ajuste lo cual posibilita su puesta en producción en entidades públicas, el análisis de peso de los factores en la predicción muestra también hallazgos interesantes.

En la etapa pre contractual, el uso indebido de la contratación mediante Régimen Especial es un factor relevante, particularmente en casos como el del Sector Salud y el Instituto Distrital de las Artes. Asimismo, una menor variedad de bienes y servicios contratados está asociada a mayor riesgo de ineficiencias, mientras que la contratación específica de servicios profesionales especializados está asociada a un mal uso de la figura que deriva en sobrecostos y prórrogas.

En relación con la etapa de adjudicación, los algoritmos identifican mayor riesgo cuando esta tiene lugar en los últimos meses del año y puede estar asociada a fallas en la planeación de los procesos derivadas de la necesidad de ejecutar el presupuesto en su totalidad durante la vigencia. Finalmente, el valor de los contratos tiene una relación directa con la existencia de ineficiencias lo cual puede estar mediado por la complejidad de los procesos, la poca capacidad de vigilancia sobre los mismos y la existencia de contingencias no previsibles.

¿Cuáles son los retos a futuro?

El éxito en la implementación de este tipo de proyectos en un escenario real depende en buena medida de la cantidad, calidad y oportunidad de la información. Adicionalmente, si bien el uso de software libre en las fases de diseño y puesta en producción reduce los costos de implementación, la adopción del uso de herramientas computacionales y la incorporación de profesionales capacitados es un reto importante para las entidades públicas en América Latina, especialmente a nivel subnacional.

Hay además otros retos para la generación de capacidades dentro de las entidades públicas, como el proceso de legitimación del lenguaje científico en equipos de funcionarios expertos en el proceso que se quiere intervenir, en este caso particular, la auditoría de contratos públicos. Es fundamental que además de los esfuerzos técnicos existan también espacios de diálogo y co-creación al interior de las entidades para que los algoritmos no sean vistos como cajas negras sino como insumos para la toma de decisiones. La creación de unidades de analítica avanzada en el sector público y la implementación de proyectos basados en Inteligencia Artificial, más allá del componente técnico, demanda cambios en las estructuras organizacionales que permitan diseñar, prototipar y escalar proyectos que luego generen en un impacto positivo sobre el bienestar de la ciudadanía.

Por último, vale la pena resaltar que los recursos utilizados para desarrollar el proyecto son de libre acceso y la información que alimenta el modelo es oficial y pública. En el entrenamiento de los algoritmos se utilizó software libre (Python), y el desarrollo completo del proyecto está disponible para su consulta en Github.


Bibliografía:

Bandiera, O., Prat, A., & Valletti, T. (2009). Active and Passive Waste in Government Spending: Evidence from a Policy Experiment. American Economic Review.

Gallego, J., Rivero, G., & Martínez, J. (2021). Preventing rather than punishing: An early warning model of malfeasance in public procurement. International Journal of Forecasting.

Liudmila, P., Gusev, G., Vorobev, A., Dorogush, A. V., & Gulin, A. (2019). CatBoost: unbiased boosting with categorical features. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018).

Share this