Las Ciudades Inteligentes se enfrentan a problemas de decisión, como son repartos de paquetería, planificación de sus recursos, que suelen tener millones de posibles soluciones, lo que los convierte en auténticos “sudokus” muy difíciles de resolver.  Este tipo de problemas se han venido resolviendo tradicionalmente mediante distintas técnicas de optimización combinatoria, que en muchos casos ofrecen buenas soluciones, pero que suelen requerir tiempos altos de procesamiento. Recientemente se han comenzado a explorar nuevas vías para resolver estos “sudokus” utilizando técnicas de Inteligencia Artificial y el proyecto OPRA se ha centrado en ello.

Un ejemplo del tipo de problemas que se pretende resolver son problemas de transporte o enrutamiento. Así, el problema más simple es el conocido problema del viajante en el que se busca la ruta más corta que conecte una serie de puntos de entrega o ciudades. (Figura 1):

Figura 1

La situación ideal sería conseguir un algoritmo que fuese capaz de aprender a resolver este tipo de problemas en un entorno simulado, para después poder aplicar lo aprendido a un entorno de producción y conseguir buenas soluciones en tiempos muy cortos. El proyecto OPRA se ha centrado exactamente en eso. Para ello, se han desarrollado aproximaciones al problema basadas en Deep Reinforcement Learning que permiten generar, mediante simulación, problemas de reparto y para cada uno de ellos el algoritmo va generando una solución recibiendo al final una “recompensa” o “refuerzo” en función de la bondad de dicha solución. El algoritmo aprende a partir de dichos “refuerzos” y una vez entrenado es posible aplicarlo a nuevos problemas con tiempos de respuesta muy bajos como se observa en la Figura-2.

Figura 2