Juan Carlos profundiza en el interesante mundo de la IA en la contratación pública. Se abre un abanico de posibilidades en la contratación pública, pero habrá que regular y controlar la IA para que sea transparente y justa. Este post es perfecto de cara al II Congreso de Contratación Pública Valencia. Contratación Pública Inteligente que celebraremos los días 28 y 29 de septiembre.
En nuestra anterior colaboración con www.lapartecontratante.blog pretendía dejar clara la importancia que la inteligencia artificial va a tener en el ámbito público. Particularmente en la contratación, va a permitir mejorar muchos aspectos: los que fueron señalados en aquel post, los que se me puedan haber quedado en el tintero y los que la evolución tecnológica permita y más allá. Porque esto va muy rápido y todos los días se revelan herramientas y aplicaciones más avanzadas cuyo motor es la inteligencia artificial.
A riesgo de resultar pesado, insisto en la importancia de que empleadas y empleados público, así como sus administraciones y entidades públicas de distinto pelaje, se acerquen desde ya a esta tecnología, se formen, la conozcan, comiencen a experimentar sus beneficios y sean también conscientes de los riesgos que implica.
Sin perjuicio de que el potencial de la inteligencia artificial aplicada de forma integral a todo el proceso permita una transformación completa de la compra pública, en el momento actual, con las herramientas de las que ya se dispone la compra pública se puede mejorar desde hoy mismo.
Por poner un solo ejemplo, la OIRESCON desde sus primeros informes hasta los últimos se ha venido quejando lacónicamente de la falta de calidad de los datos de la contratación pública en España. Ahora tiene una oportunidad.
De su Informe Especial de Supervisión relativo a la Contratación Estratégica en 2021. Abril 2023 (PDF) en la pág 78:
“…Por otro lado, sigue sin existir una verificación ni control de calidad de la información registrada, lo que impide asegurar la certeza y calidad del dato. Por ello el análisis de supervisión realizado por esta Oficina, implica un análisis minucioso y detallado “pliego a pliego” manualmente….”
De su Informe Especial de Supervisión de los contratos tramitados por vía de emergencia en el 2021. Julio 2022 (PDF), en la página 61
“…Se han publicado como de “tramitación urgente” u “ordinaria”, contratos que, al examinar la documentación adjunta (resolución de declaración de emergencia, de adjudicación o memoria justificativa si la hubiere) se ha comprobado que es un contrato tramitado por vía de emergencia.
De igual modo se ha identificado el caso contrario, esto es, contratos que han sido publicados como contratos tramitados por vía de emergencia cuando, en realidad, de la documentación adjunta al expediente (cuando esta se adjunta) se deduce que se trata de contratos de “tramitación de urgencia” (tramitados de acuerdo al artículo 119 de la LCSP), o contratos en los que ha habido, incluso, licitación.
Estos errores ponen de manifiesto que la falta de verificación de los datos publicados en las Plataformas de contratación afecta a la propia calidad del dato…”
Esto se debe a una serie de factores, como la falta de estandarización de los formatos de datos, la falta de coherencia en la codificación de los datos y la falta de mantenimiento de los datos. La propia OIRESCON podría utilizar o promover el uso de la IA para mejorar la calidad de los datos de la contratación pública de varias maneras:
- Estandarizar los formatos de datos: La IA puede utilizarse para identificar y corregir los formatos de datos que no son estándar. Esto facilitará la integración y el análisis de los datos.
- Alinear la codificación de los datos: La IA puede utilizarse para identificar y corregir la codificación de los datos que no es coherente. Esto mejorará la precisión y la consistencia de los datos.
- Mantener los datos: La IA puede utilizarse para identificar y corregir los datos que son incorrectos u obsoletos. Esto garantizará que los datos sean precisos y actualizados.
Probablemente no sólo sea una cuestión de capacidad sino principalmente de voluntad. Particularmente dotar a la OIRESCON con los medios adecuados para que pueda materializar las competencias que la LCSP le atribuye y no se quede en ser notario editorial de una realidad respecto de la cual puede hacer poco para cambiar sería un primer paso. Y cambiemos de tercio.
El potencial de la inteligencia artificial de mejorar la eficiencia, la transparencia y la equidad, debe desplegarse de manera precisamente “inteligente”, porque su uso también plantea desafíos que es necesario mitigar. Veamos algunos de los riesgos más evidentes y que el otro día mencionamos de pasada:
a) Sesgo algorítmico: Los algoritmos de IA pueden perpetuar o incluso amplificar los sesgos existentes si se entrenan con datos sesgados o si los criterios que se utilizan para tomar decisiones están sesgados. Esto puede conducir a decisiones de contratación injustas y discriminación contra ciertos grupos de proveedores.
Si los datos utilizados para entrenar un modelo de IA están sesgados, el modelo también lo estará.
Por ejemplo, si se utiliza un conjunto de datos que refleja principalmente contratos adjudicados a empresas de una cierta región o de un cierto tamaño, el modelo puede «aprender» a favorecer a empresas similares en sus predicciones o recomendaciones.
También, incluso con un conjunto de datos perfectamente representativo, un algoritmo puede introducir sesgos si sus características o parámetros se eligen o se ponderan de manera que favorecen a ciertos tipos de proveedores o propuestas. Por ejemplo, si se da demasiada importancia a la experiencia previa en la solvencia técnica o profesional de los licitadores, el algoritmo puede discriminar a las empresas nuevas o pequeñas que no han tenido muchas oportunidades de contratación previas.
Por último, la manera en que se interpretan y utilizan los resultados de un modelo de IA puede introducir sesgos.
b) Transparencia y explicabilidad: Los algoritmos de IA pueden ser «cajas negras» que toman decisiones sin que los humanos entiendan cómo o por qué se toman. Esto puede dificultar la rendición de cuentas y la impugnación de decisiones de contratación injustas o incorrectas. Este aspecto es especialmente relevante cuando la administración contrata el uso de sistemas de inteligencia artificial, en los que se tensionan la confidencialidad del algoritmo creado por terceros y los intereses públicos.
c) Privacidad de los datos: La IA requiere a menudo la recopilación y el análisis de grandes cantidades de datos, lo que puede plantear desafíos para la protección de la privacidad de los datos, especialmente si se manejan datos sensibles o personales.
d) Seguridad de los datos: Los sistemas basados en IA pueden ser vulnerables a ataques cibernéticos que pueden comprometer la integridad de los datos y los procesos de contratación.
Los atacantes pueden intentar manipular los datos utilizados para entrenar o ejecutar los modelos de IA, con el fin de sesgar las decisiones de contratación. Por ejemplo, podrían introducir errores o datos ficticios en los registros de contratación, o alterar las evaluaciones de los proveedores para favorecer o perjudicar a ciertos proveedores. Podrían hacerse pasar por proveedores legítimos para ganar contratos o acceder a información confidencial. Esto podría implicar la creación de perfiles de proveedores falsos, o la manipulación de los sistemas de autenticación o verificación.
e) Dependencia de la tecnología: El uso excesivo de la IA puede conducir a una excesiva dependencia de la tecnología y a la pérdida de habilidades y experiencia humanas en la gestión de contratos. También puede excluir a los proveedores que no tienen acceso a la tecnología o las habilidades necesarias para interactuar con los sistemas de IA.
f) Desigualdades: El uso de la IA puede aumentar las desigualdades si las oportunidades de contratación se inclinan hacia las empresas que pueden invertir más en tecnología, o si la IA favorece a las empresas más grandes o establecidas en detrimento de las más pequeñas o nuevas.
Siendo conscientes de estos problemas potenciales que presenta la IA, antes de comenzar a utilizarla de forma intensiva es importante que las propias administraciones se comprometan con estos problemas, tomen la iniciativa y adopten medidas desarrollando directrices y normas para que el uso de la IA sea ético y responsable. De lo contrario es más que probable que la IA se convierta en un problema de difícil solución.
¿Qué medidas se podrían pensando y poniendo en marcha antes de que sea demasiado tarde? Reunidos un buen rato con Chat GTP y Bard de Google para conversar sobre las medidas que pueden ayudar a mitigar los riesgos del uso de la inteligencia artificial (IA) en la contratación pública, éstas son nuestras conclusiones:
- Regulación y Marco Legal: Desarrollar un marco legal y de regulación claro que contemple la utilización de IA en la contratación pública. Es necesario establecer normas éticas para el uso de la IA en la contratación pública. Estas normas deben reflejar los principios de equidad, transparencia, responsabilidad y beneficio público. Además, deben ser fácilmente accesibles y comprensibles para todas las partes interesadas, incluyendo los licitadores y el público en general.
- Formación. Formar a los empleados públicos sobre el uso ético de la IA. Esto ayudará a garantizar que los funcionarios públicos sean conscientes de los riesgos potenciales de la IA y tomen medidas para mitigar estos riesgos.
- Garantizar la transparencia y comprensión de los algoritmos: Para contrarrestar el problema de la «caja negra» de los algoritmos, es importante asegurarse que los algoritmos utilizados sean transparentes y que sus decisiones puedan explicarse. Esto puede implicar el uso de técnicas de IA explicables (XAI) y la documentación detallada de cómo se toman las decisiones. Los proveedores y los ciudadanos deben poder entender cómo se toman las decisiones y cómo funcionan los algoritmos.
- Participación Ciudadana: Fomentar la participación ciudadana en el diseño, implementación y supervisión de la IA en la contratación pública para aumentar la transparencia y la rendición de cuentas.
- Controlar el sesgo algorítmico: Se deben implementar medidas para controlar el sesgo en los datos de entrenamiento y en el diseño de los algoritmos. Esto puede incluir la revisión y auditoría de los datos y algoritmos, y la implementación de pruebas de equidad y sesgo, asegurando que los datos de entrenamiento sean diversos e inclusivos.
- Proteger la privacidad y la seguridad de los datos: Es importante implementar medidas para proteger la integridad y la seguridad de los datos y los sistemas de IA, como firewalls, detección y prevención de intrusiones, y prácticas seguras de codificación y manejo de datos, la anonimización y el control de acceso. Es esencial garantizar el cumplimiento de la normativa de protección de datos.
- Fomentar la inclusión y equidad: Se deben tomar medidas para garantizar que todas las empresas, independientemente de su tamaño o recursos, tengan la oportunidad de participar en la contratación pública. Esto puede implicar la capacitación y el apoyo a los proveedores para que puedan interactuar con los sistemas de IA, y la implementación de políticas para promover la diversidad y la inclusión en la contratación. También se pueden realizar esfuerzos (Ejem: programas de mentoría, la realización de eventos de networking, la provisión de oportunidades de contratación específicas, etc.) para involucrar a las empresas de grupos subrepresentados, como las pequeñas empresas, las empresas dirigidas por mujeres o minorías, o las empresas de regiones desfavorecidas. Igualmente se pueden implementar políticas que estén orientadas a impedir la discriminación en las decisiones de contratación basadas en características como el tamaño de la empresa, la ubicación geográfica, o el género o la raza de los propietarios. Estas políticas deben reflejarse en los algoritmos y los criterios de evaluación utilizados
- Mantener una supervisión humana: Es importante mantener una supervisión humana en los procesos de contratación para asegurarse de que las decisiones de la IA sean justas y correctas, y para intervenir si es necesario. Esto implica capacitar al personal en el uso y la supervisión de la IA.
- Revisión y auditoría regulares: Realiza revisiones regulares de los algoritmos y los procesos de contratación para identificar y corregir cualquier sesgo o discriminación inadvertida. Es importante involucrar a todas las partes interesadas en el proceso de revisión y auditoría. Esto podría incluir la consulta a los licitadores, al público en general, a los expertos en la materia, y a los representantes de grupos afectados por las decisiones de contratación. La participación de las partes interesadas puede ayudar a garantizar que las revisiones y las auditorías aborden las preocupaciones y las necesidades reales. Los hallazgos de estas revisiones deben ser publicados y utilizados para hacer mejoras continuas. Los comentarios de las empresas y los hallazgos de las revisiones serán útiles para hacer ajustes y mejoras continuas. Eso sin perjuicio de que los sistemas de IA deben ser revisados y auditados regularmente para verificar su rendimiento, equidad y seguridad, y para identificar y corregir cualquier problema o deficiencia.
- Realización de Auditorías Externas: Además de las revisiones internas, puede ser útil llevar a cabo auditorías externas. Estas auditorías podrían ser realizadas por terceros independientes, como empresas de auditoría, organismos de supervisión, o investigadores académicos. Las auditorías externas pueden proporcionar una visión objetiva y creíble de la conformidad con las normas éticas.
- Acceso a Datos y Herramientas de IA: En necesario facilitar el acceso a los datos y las herramientas necesarias para utilizar la IA. Esto podría incluir la publicación de datos de licitación en formatos abiertos y accesibles, y la promoción de herramientas de IA de código abierto.
- Conflictos de Intereses y Divulgación: Deben establecerse políticas que requieran a las empresas que desarrollan o financian la IA a recusarse de las decisiones de contratación en las que puedan tener un conflicto de interés. También debe exigirse a estas empresas que divulguen cualquier relación financiera o de otro tipo que puedan tener con los licitadores.
- Mecanismos de Recurso: Deben establecerse mecanismos para que las partes interesadas puedan discutir las decisiones de contratación que consideren injustas o no éticas, y solicitar una revisión o una auditoría de los sistemas de IA utilizados. Estos mecanismos deben ser transparentes, accesibles y justos.
Estas medidas pueden ayudar a garantizar que el uso de la IA en la contratación pública sea ético, justo y beneficioso para todos los interesados. Por descontado, también es importante tener un marco legal y regulatorio sólido que guíe y supervise el uso de la IA en la contratación pública, pero como les cuento es conveniente no cruzarse de brazos a la espera del mismo e ir implementando éstas y otras salvaguardas para minimizar el riesgo de que la IA se utilice para manipular los resultados de las licitaciones públicas. Hablo de minimizar o de mitigar porque ninguna medida puede eliminar completamente los riesgos señalados, por lo que siempre es necesario mantener un grado de vigilancia y revisión.
Algunas películas incluyen una última escena inesperada que reabre todo lo que en el final se pensaba terminado y cerrado…..en el contexto de la contratación pública, cualquier sesgo o manipulación que pudiera ocurrir en un sistema de IA sería el resultado de decisiones tomadas por las personas que programaron o utilizaron el sistema, no de la IA en sí, pero en un futuro…¿será capaz la IA de manipular una licitación para beneficiarse a sí misma y tener ventaja en la licitación que participa su creador?.
Bienvenidos a la nave del misterio.
La parte contratante 
Debe estar conectado para enviar un comentario.