Peritaje IA

Peritaje y auditoria de chatbot

Peritaje y auditoria de chatbot en Logística para juicio. Caso de éxito.

Uno de los últimos trabajos que hemos realizado ha sido para un cliente donde su chatbot integrado con su sistema de paquetería y logística proporcionaba una serie de funcionalidades que debíamos analizar si estaban acorde con los requisitos contratados al partner. En este caso como peritos colaboradores con la justicia y auditores informáticos expertos en inteligencia artificial realizamos el trabajo sobre este chatbot analizando el proyecto desde su nacimiento, desarrollo y situación actual. Estamos ante un Peritaje y auditoria de chatbot.

Peritaje y auditoria de chatbot en Logística

LA empresa, que por razones de privacidad no podemos nombrar, es una empresa de transporte urgente que reparte envíos a nivel nacional de los principales operadores como por ejemplo Amazon.

El proyecto nace en el comité de dirección por una necesidad de optimizar y mejorar la atención al cliente de la empresa por las siguientes razones:

  1. El equipo de atención al cliente no trabaja más allá de las 19:00
  2. Se requieren recursos humanos en otras áreas de la empresa, pudiendo ser cubiertas por personal de atención al cliente.
  3. Se necesita mejorar la imagen tecnológica de la empresa.

Se plante un proyecto por parte del partner basado en Microsoft Language Understanding Cognitive Services (www.luis.ai), desarrollo sobre plataforma de Microsoft Azure Chatbot y desarrollo sobre .net de la integración entre chatbot y sistema de gestión de envíos de la empresa de transporte urgente.

Esta arquitectura en una infraestructura líder en el sector de la inteligencia artificial aplicada a la empresa resulto ser un éxito. En nuestra auditoria analizamos los siguientes bloques que planteaba la solución:

  • https://www.luis.ai en este módulo en cloud se desarrollan las intenciones. Para el lector no experto en IA las intenciones son los objetivos que el chatbot, voicebot etc. debe saber responder. Un chat de logística no sabrá responder una pregunta sobre la fluctuación del precio del oro pero si debe saber responder todo lo que desde el área de negocio se plantee como clave para cubrir las necesidades de atención al cliente. Algunas de ellas fueron, saludar, despedirse, responder a consultas de los envíos, de los horarios, de contacto, etc. el sistema entregado se puede ver en la siguiente imagen:

Peritaje y auditoria de chatbot

  • https://azure.microsoft.com como plataforma en cloud donde desplegar el chatbot permite la integaración con luis.ai y el desarrollo realizado en .net, integrado con sus servidores ERP

Auditoria y peritaje de chatbot

  • Azure Machine Learning Studio. Donde se desarrollan ciertas predicciones necesarias para este negocio de envío urgente mediante algoritmos de Machine Learning:

Peritaje y auditoria de chatbot

  • Visual Studio 2017 como entorno de desarrollo donde se integra no solo las acciones y diálogos que se mantendrán, integrados con luis.ai, sino las conexiones e interacción con los sistemas de gestión del ERP. Por ejemplo averiguar el estado de un envío o insertar una solicitud de recogida requiere de una capa SOA que se desarrolló en el ERP para ello.
  • ERP. Sistema propietario del cliente que da servicio a toda la gestión de la empresa, incluyendo más de 100 transportistas y 30 personas de oficinas, portal de cliente y web, así como obviamente los servicios web necesarios para la integración con el CHATBOT.

Algunos de nuestros test consistieron en:

  • Medidas de seguridad, pentesting y hacking externo.
    • Ya que el chatbot interactúa con el cliente de forma personalizada utilizando datos personales del cliente. Evaluamos el cumplimiento de este proceso de atención al cliente con la Ley de Servicios de la Sociedad de la Información y de Comercio Electrónico (LSSI-CE)
    • En cuanto a la seguridad de las infraestructura y redes evaluamos el cumplimiento de:
      • La directiva europea 2016/1148
      • Las leyes del territorio español:
      • En cuanto al tratamiento, mantenimiento y protección de datos:
      • En cuanto a la suplantación de identidad de la marca / empresa, de aprovechamiento ilícito de la misma o de infracción a creaciones de autores protegidas por la propiedad intelectual.
      • Correcto entrenamiento del chatbot, de los intentos y probabilidades de éxito de cada interacción.
        • Se realizo un análisis de la información y cantidad de datos que la empresa tenia para realizar el entrenamiento. En estas line se evaluó que el conjunto de datos fuese:
          • Suficiente para obtener un entrenamiento que posteriormente proporcione una alta fiabilidad del algoritmo
          • No sesgado. Que el conjunto de datos de entrenamiento contenga toda la casuística que se puede encontrar el proceso de atención del cliente en producción. Con este hecho evitamos que el proceso de atención al cliente actúe de una forma no deseada y de respuestas al cliente que no deben de darse.
        • Respuestas adecuadas a worflows conversacionales y/o diálogos, tanto de flujos adecuados como de salida de estos.
          • Además de las respuestas correctas se comprobó la calidad del servicio acorde al estándar de usabilidad ISO9241.
          • Comprobar si el sistema contiene mecanismos de workarounds, dando alternativas posibles según las intenciones del usuario si no puede solventar el problema planteado.
          • Comprobamos la trazabilidad del proceso de chatbot.
          • Comprobamos que el chatbot no toma decisiones criticas sino que las deja en manos de un empleado de atención al cliente. En este punto el chatbot deriva el cliente a interactuar con un empleado de la empresa.
        • Capacidad de carga del chatbot, mediante herramientas de sobrecarga de peticiones.
        • Análisis de la capacidad y coherencia del entrenamiento de los intentos.
        • Estudio del código desarrollado en .net con el framework de Microsoft orientado a chatbot, análisis de buenas prácticas etc.
        • Estudio de los procedimientos y protocolos de seguimiento y análisis de las acciones del chatbot y su evolución en el tiempo.

Nuestras conclusiones fueron en general positivas:

  1. Los sistemas cognitivos utilizados estaban adecuadamente entrenados y con capacidad para desarrollar nuevos diálogos e intentos de conversación.
  2. Existía varios flujos de escape donde el ser humano podría interaccionar en el caso que el sistema no sepa contestar adecuadamente.
  3. Las respuestas aleatorias para un mismo intento dan la sensación de “humano” y reducen la robotización del mismo.
  4. El código .net esta adecuadamente desarrollado siguiendo estándares .net, OOP, uso de patrones y otros.
  5. El sistema esta adecuadamente dimensionado respondiendo con tiempos entre petición (request) en los estándares de la industria.
  6. LA seguridad paso un nivel adecuado de nuestros test de intrusión.
  7. El alineamiento con los requisitos de negocio planteados al inicio del proyecto son adecuados y resuelven la problemática inicialmente planteada así como están preparados para un crecimiento general de conversaciones y diálogos que el sistema deba en el futuro aprender.

Conclusión

Muchos de los proyectos tradicionales de chatbot fracasaron por dos cuestiones clave. La primera no utilizar sistemas cognitivos basados en redes neuronales profundas que permiten el aprendizaje del lenguaje humano de una manera adecuada. En un segundo lugar la falta de alineamiento a la estrategia y objetivos de la empresa ha sido (y es) una de las razones de fracaso de la mayoría de estos proyectos. Nuestro informe, en este caso orientado a juicio, ha permitido constatar que los puntos clave de una auditoria cumplen. Si se encuentra en esta situación contacte con nosotros.

info@peritaje.ai

911277300

Post a Comment

You don't have permission to register