En 2016, cuando Alexa, Cortana, Google Assistant y Siri competían por ser el asistente digital de preferencia de los consumidores y eran capaces de responder en lenguaje natural sobre el estado del tiempo, las instrucciones de ruta para llegar a un destino, y otras cosas así; en la charla inaugural de nuestro Encuentro de Tecnología me animé a señalar que pronto veríamos asistentes digitales apoyando el trabajo de los funcionarios de la administración tributaria. Y no me refería entonces al uso de modelos de aprendizaje de máquinas y redes neuronales para facilitar la clasificación o las regresiones, sino a asistentes que apoyen directamente el trabajo de los funcionarios, y que aunque ninguna de ellas había visto la luz, me animé también a bautizar como Asistente Tributario Digital – Astrid.

Surgieron iniciativas, fundamentalmente en el espacio de asistir a los contribuyentes con preguntas frecuentes, y sus respuestas programadas, a través de asistentes conversacionales virtuales [1] (chatbots) en varias administraciones, generalmente disponibles para atender directamente a los contribuyentes, potenciados incluso por las restricciones de movilidad que vivimos en la pandemia[2].

Hoy, cuando la ola de la Inteligencia Artificial baña con energía las diferentes playas del mundo, incluyendo las de la administración tributaria, encontramos desde predicciones (profecías, incluso) y proyectos en marcha, pero también cuestionamientos y alertas, para la incorporación de inteligencia artificial generativa, particularmente de modelos de lenguaje de gran tamaño – LLM por sus siglas en inglés -, precisamente para apoyar el trabajo de la administración tributaria, atendiendo tal vez directamente a los contribuyentes, o apoyando la labor de los funcionarios. Y así nació Sofía.

La Secretaría Municipal de Fazenda de la Prefectura de São Paulo administra los tributos municipales, por lo cual, debe tratar con una cantidad de requerimientos de información y consultas que son atendidos por funcionarios del área, a través de diversos canales. Como es de imaginar, las fuentes de información que sustentan las respuestas se encuentran dispersas en muchos documentos, que van de las leyes, a las normas internas, a manuales y guías en la jurisprudencia. Los desafíos mayores incluyen la estandarización en las respuestas, la gestión de la calidad y, naturalmente, el entrenamiento a los nuevos colaboradores.

Así decidieron desarrollar Sofía, un asistente basado en GPT, exclusivo de los funcionarios de la Secretaría, para dar acceso rápido e intuitivo a la documentación de la Secretaría, dispuesta en sitios y documentos de la Secretaría. A continuación, una captura de pantalla de una pregunta hecha a Sofía y su respuesta.

Seguramente notaron que al final de la pantalla se identifica las referencias utilizadas en la generación de las respuestas, con enlaces para acceder a las fuentes, de ser necesario. También, se dispone de íconos para dar retroalimentación positiva y negativa. Más allá de esto, la función de feedback implementada para Sofía en la Secretaría tiene un equipo de curadoría para que aplique y gestione los ajustes necesarios. La retroalimentación negativa permite a los usuarios identificar si está correcto, incorrecto o si el contenido es impropio.

Por supuesto que cuando estuve frente a Sofía no resistí hacerle algunas preguntas sobre las exenciones y vencimientos en el IPTU [3], pregunté en español primero, en inglés después, obteniendo respuestas correctas en portugués. Y luego vino la prueba de verdad, preguntarle a Sofía algo que ella no debería saber. Cosas como: «¿En qué equipo juega Vinicius Junior?» o si «puede escribir en español letra de «Piano man»; solicitudes que correctamente contestaron ChatGPT 4. y Gemini; pero a las que Sofía respondió con «no sé» elaborado, al decir no tengo información para responder esto, pero básicamente «no sé.»

La utilización de Sofía para los funcionarios que brindan asistencia al contribuyente es ampliamente usada. Los errores en las respuestas de parte de los funcionarios pasaron de 10.80% antes de Sofía, a 4.36% después de Sofía. En septiembre de 2023, el 41% de las preguntas no tenían respuestas, en marzo del 2024, solo el 6% de las preguntas no tenían respuestas. La utilización interna de Sofía ha contribuido efectivamente no sólo a la estandarización de las respuestas sino también a acortar el tiempo de entrenamiento de nuevos colaboradores, que pueden acceder a la herramienta desde una página en la Intranet, la plataforma Teams o WhatsApp.

Pero hablando de la introducción de los modelos transformacionales basados en LLMs, una cosa más…

Otra aplicación de LLM que la Secretaría ha desarrollado atiende por el nombre de ‘Proyecto Optimus’, que significa Optimización de Procesos Tributarios Municipales. Utilizando la documentación disponible, y la elaboración de un conjunto del orden de 60 preguntas de tipo «Sí» o «No» sobre el contenido de las solicitudes presentadas por los contribuyentes, puede identificar y determinar el trámite y la respuesta más adecuada que le corresponde seguir al documento de una manera extremadamente eficiente.

Un ejemplo ilustrativo. Un contribuyente envía una solicitud como la siguiente:

Y se interactúa con el modelo (en mi caso, a ChatGPT 4.o) con unas preguntas pre-elaboradas.

Por lo cual, la aplicación puede decidir el flujo que el trámite debe seguir, incluyendo un detallamiento de lo solicitado por el contribuyente y posiblemente una recomendación de qué responder, desarrollada con base en el conocimiento de las personas de la área de negocio. Las 60 preguntas las corren 10 veces consecutivas, y para determinar las respuestas se utiliza la respuesta mayoritaria a cada pregunta. Es fácil si a la pregunta 1, las 10 veces dice sí, pero puede ser que sean 7 de 10 cuando el propio texto escrito por el contribuyente no sea tan claro. Además, las propias herramientas de LLM no siempre presentan las mismas respuestas ante las mismas preguntas, teniendo una variabilidad natural de la herramienta. El proceso ha introducido niveles de eficiencia en la Secretaría, y no, o por lo menos no hasta el momento, no ha reemplazado a ningún ser humano en su trabajo. ¿Qué tal?

Saludos y suerte.

[1] Seco, A., Muñoz, A. IADB, Asistentes conversacionales virtuales en las administraciones tributarias: Principios, modelos y recomendaciones. 2019 https://publications.iadb.org/es/asistentes-conversacionales-virtuales-en-las-administraciones-tributarias-principios-modelos-y

[2] https://www.ciat.org/asistentes-conversacionales-virtuales-en-las-administraciones-tributarias-el-futuro-es-hoy/

[3] Imposto sobre a propiedad predial e territorial urbana

9,041 total views, 36 views today