He programado un "Juez" IA para resolver discusiones de reglas con los PDF

Iniciado por h_proyect_program, Hoy a las 01:45:27 PM

Tema anterior - Siguiente tema

0 Miembros y 4 Visitantes están viendo este tema.

Mensaje #0

h_proyect_program

    Hola a todos,

    No sé vosotros, pero en mi grupo de juego el mayor problema es el
downtime cuando hay una duda de reglas, especialmente con esos reglamentos densos de Kickstarter o campañas largas. Nos pasamos 15 minutos discutiendo o buscando en la BGG quién tiene razón.

Para solucionar esto de forma imparcial, he estado programando un proyecto personal llamado Ludus Judge AI.

A diferencia de ChatGPT (que se inventa las cosas y te arruina la partida), he montado un sistema estricto en el que la IA solo puede responder basándose en el reglamento oficial.

Cómo funciona la herramienta:

[list=1]
[] Sube tu propio reglamento: Le cargas el PDF del juego que os esté dando guerra.
[] Modo Disputa (Texto): El Jugador A da su versión de la regla, el B da la suya, y el Juez analiza el PDF para emitir un veredicto, citando la página exacta.
  • El "Ojo" del Árbitro (Análisis por cámara): Esta es la función principal. Abres la cámara desde la app, le haces una foto a tu tablero en tiempo real y le haces la pregunta (ej. "¿Este movimiento es legal?" o "¿Tengo línea de visión?"). La IA analiza visualmente la posición de los componentes, la cruza con el reglamento en PDF y dicta sentencia.
Por qué os necesito:
Necesito poner a prueba este sistema con manuales complejos, dudas rebuscadas de juegos duros y situaciones de tablero ambiguas. Quiero ver si el Juez realmente acierta o si la IA patina con cosas como los reflejos en las cartas o la perspectiva de la foto.

Nada más registraros tenéis 2 créditos totalmente gratis para probarlo. (Aviso: la función de análisis fotográfico es la más potente del sistema y consume esos 2 créditos de golpe, así que usad esa "bala" para una duda que sea un verdadero reto 😅).

Me haríais un favor enorme si subís el reglamento de ese juego que siempre os da dolores de cabeza, simuláis una discusión real (o le sacáis una foto a una situación límite) y me decís por aquí si el veredicto ha sido justo.

¡Cualquier feedback (sobre todo si lográis "romper" la lógica de la IA) es súper bienvenido! Mil gracias.

Mensaje #1

Jomra

Salud

Cita de: h_proyect_program en Hoy a las 01:45:27 PMNo sé vosotros, pero en mi grupo de juego el mayor problema es el downtime cuando hay una duda de reglas, especialmente con esos reglamentos densos de Kickstarter o campañas largas. Nos pasamos 15 minutos discutiendo o buscando en la BGG quién tiene razón.

En la mayoría de mis grupos, se decide una interpretación y se pone en cuarentena la partida, esto es, se sigue jugando y luego se revisa bien la regla en disputa, si la regla se interpretó o entendió mal, simplemente consideramos que la partida es nula... o no, si nos gustó, incluso la seguimos aplicando. Vamos, el eterno «en mi casa se juega así». En todo caso, quien hace de «juez» de los reglamentos, en mis grupos (sobre todo con los dos que más juego), soy yo, por suerte confían en mi criterio y también soy quien explica el 99 % de los juegos (también me cae ese peso por el ámbito profesional que tengo, claro).

De todas formas, las principales discusiones sobre los reglamentos se deben a:

a) lagunas (con lo que la IA no te podrá decir la página donde está... porque no está, ¿cómo resuelve eso?);
b) contradicciones (no pocas veces dos reglas, aplicadas a la vez, generan una contradicción en los efectos; con lo que la IA te debería dar las dos páginas dando la razón a ambas partes, ¿o cómo decide cuál tiene más razón?);
c) ambigüedades (a veces viene por el verbo usado en la traducción, a veces porque una misma oración se puede interpretar de muchas formas, a veces esto causado por una mala redacción; a veces porque el ejemplo contradice la regla escrita; a veces varias interpretaciones son coherentes con lo que parece el espíritu del juego, ¿cómo elige la IA la «mejor» interpretación ante una ambigüedad?).

Hasta ahora, todo lo que he visto de las IA de este estilo (tampoco soy, ni mucho menos, experto en el tema, pero cada vez me llegan más consultas donde, previamente, han mirado «una IA»), aplicados a ámbitos jurídicos, son peor que una escopeta de feria, precisamente porque las normas (y los reglamentos son normas) no son entornos de lenguaje cerrado, aunque lo parezcan.

Para mí, la aplicación de los reglamentos de los juegos se parecen mucho a la interpretación y aplicación del ordenamiento jurídico, esto es, a la aplicación de la hermenéutica jurídica, esto exige un tipo de razonamiento que las IA no realizan (porque no razonan); máxime si, como dices, se basará exclusivamente en el texto del reglamento, ahí pierdes, necesariamente, elementos importantes, no solamente vamos a la literalidad de un texto para comprenderlo (la exégesis es necesaria, pero no suficiente), si no que el contexto histórico es importante (un reglamento de un juego de hace 10 años no se hace igual que uno actual, entre otras cosas, porque se dan cosas por «sabidas»), así como interpretaciones de ámbito subjetivo (¿qué quería decir la persona diseñadora? Eso se ve cuando se entiende un juego en su contexto no solo histórico, si no interno, tanto mecánica como dinámicamente, en otras palabras, por el tipo de juego que es, por cómo ha resuelto otras partes -la intención de las normas-, también diferenciando que un reglamento de un juego de iniciación explica las cosas distintas que de un juego extremadamente complejo, que toma conceptos de otros lados y no los desarrolla), aplicaciones analógicas internas (cómo funciona una mecánica similar o una excepción parecida en otro apartado del juego) y externas (los juegos similares resuelven las situaciones de forma similar), entre otros métodos interpretativos.

Voy a poner un ejemplo concreto de todo lo que digo:

Me viene a la mente un escenario de De Ratones y Magia, diseñado de tal forma que contradecía frontalmente las reglas (de ese burro no me bajo), el autor y la editorial contestaron a esa «contradicción» incorporando a las Respuestas a Preguntas Frecuentes (RPF) una excepción diciendo que no era excepción (y ediciones como la segunda española incorporaron esas RPF al propio reglamento, al final del mismo), así pues, era posible que esa situación estuviera «bien» en el escenario; seguía contradiciendo por completo las reglas de exploración, era totalmente incoherente con el resto del juego, con el diseño de los demás escenarios... no sé si en la tercera edición ya corrigieron ese escenario o cambiaron la regla de exploración, pero, para seguir con este ejemplo, si le meto esa duda a la IA, ¿cómo la resolvería? Porque la contradicción entre las reglas y el escenario era clarísima (la BGG llena de preguntas al respecto hasta que se puso en esa respuesta oficial una «solución»).

Aunque yo ya jugué a ese juego con las RPF y ya sabía de esa contradicción, tengo claro que en mi grupo lo hubiésemos jugado forzando la posibilidad de exploración para que el juego pudiera continuar (porque el interés de cualquier juego de aventuras es que el juego no se trabe, que continúe), pero esta es una interpretación analógica (por lo que he puesto en el paréntesis anterior) y subjetiva (esto es, estoy yendo a la intención posible de quien diseñó ese escenario: que fuera posible completarlo), no es una respuesta que se encuentre en una página del manual original (en ediciones posteriores, sí, al menos en las páginas de RPF; pero ya deja de ser una duda porque está incorporado). Ojo, la duda era «¿cómo continúo explorando en este escenario si la situación es equis?».

Con lo de subir cosas a una IA para que esta las procese siempre he tenido problemas sobre la legitimidad de dicha acción; quiero decir, si la IA va a incorporar esa información a su base de datos, estoy haciendo una transmisión a un tercero de un material para su procesamiento y, realmente, el tener en posesión un reglamento no me da derecho a eso (como no me da derecho a leerlo en voz alta en la plaza del pueblo para que todo el mundo lo escuche, por cierto). Si la IA no lo va a incorporar y lo va a tratar todo en local (que sería lo ideal), no habría este problema, ¿cómo funciona tu IA? ¿Lo que subimos lo incorpora a la masa de datos que manejará o simplemente lo usa para resolver la duda concreta?

Suerte con la IA, en todo caso.

Hasta luego ;)
Noviolencia activa en Delicias (Valladolid).
Lo que compro, cambio o vendo. Hilo en DS..
Pueden ver mis minirreseñas de juegos de mesa en el subforo pertinente o por acá.

Mensaje #2

h_proyect_program

    Hola, muchas gracias por tomarte el tiempo de hacer un análisis tan profundo. De verdad, este es exactamente el nivel de exigencia y pensamiento crítico que busco para poner a prueba el proyecto.Has tocado varios puntos clave que son, precisamente, los pilares sobre los que he construido la arquitectura de Ludus Judge AI. Te aclaro las dudas técnicas y legales:
      • Privacidad, Derechos de Autor y Entrenamiento (El tema legal)
        Entiendo perfectamente tu preocupación, pero puedes estar tranquilo. La IA no entrena con los reglamentos que subes. El sistema utiliza procesamiento efímero y encriptación en tránsito y reposo para la protección de la propiedad intelectual. Es decir, cuando subes un PDF, el sistema simplemente lo lee temporalmente para buscar el texto exacto que responde a la duda de los jugadores y luego emite el veredicto. Tus documentos no se incorporan a ninguna masa de datos pública ni se usan para entrenar al modelo base. La privacidad es estricta.
      • Lagunas, Ambigüedades y el caso de Mice & Mystics
        Tienes toda la razón en que la IA no tiene "hermenéutica jurídica" ni aplica la lógica humana para "salvar la partida". ¡Y esa es la idea! Si usas un ChatGPT normal, ante una laguna, la máquina se inventará una regla para darte la razón (alucinará), rompiendo el juego.
        Mi árbitro está capado a propósito: si hay una contradicción (como el caso que comentas) o una laguna donde el manual no dice nada, la IA no se inventa una regla casera. Si no está segura, debe admitirlo y dirigir al usuario a la página exacta del manual para que los humanos decidan.
        A futuro, la arquitectura está pensada para realizar una investigación web autónoma y encontrar las últimas erratas y FAQ oficiales de las editoriales para integrarlas y resolver esos vacíos.
      • La invitaciónVeo en el panel que aún no te has animado a crear la cuenta. Te invito a que uses los 2 créditos gratuitos que doy al inicio. Sube el manual de Mice & Mystics (o cualquier otro juego duro que domines) y métele esa misma duda contradictoria del escenario que me has contado.
    Me encantaría saber qué te responde la máquina y si la cita que te da te parece útil o si se vuelve loca. El objetivo no es sustituir al "dueño del juego" que explica las reglas, sino quitarle el peso de tener que hojear 40 páginas cuando hay dudas.¡Un saludo y gracias de nuevo por el feedback!