El ACA-Score: cómo medimos la autoridad y credibilidad en modelos de lenguaje

El ACA-Score: cómo medimos la autoridad y la credibilidad de una organización en modelos de lenguaje

El ACA-Score es el índice que desarrollé para medir cómo los modelos de lenguaje representan a una organización. Trabaja sobre dos dimensiones independientes: autoridad —con qué peso el modelo cita a la organización o le atribuye declaraciones— y credibilidad —con qué precisión y coherencia describe sus posiciones y actuaciones. El índice es comparable entre modelos (ChatGPT, Claude, Gemini, Perplexity) y rastreable en el tiempo.

Cuando empecé a trabajar en reputación algorítmica, el primer problema que encontré no era técnico: era de medición. Para gestionar cualquier cosa, primero hay que poder medirla. Y las herramientas existentes —métricas de SEO, índices de presencia en medios, scores de sentimiento— no estaban diseñadas para responder la pregunta que me interesaba: ¿cómo representa un modelo de lenguaje a esta organización, y qué tan bien o mal lo hace?

La respuesta a esa pregunta es el ACA-Score. No surgió de una sesión de design thinking. Surgió de la necesidad de tener un número que dijera algo concreto sobre el estado de la representación algorítmica de una organización, y que pudiera repetirse en el tiempo para ver si algo había cambiado.

Por qué dos dimensiones y no una

La primera decisión de diseño fue separar dos fenómenos que suelen confundirse: que un modelo te cite y que un modelo te describa bien.

Una organización puede aparecer frecuentemente en las respuestas de los modelos —con alta autoridad algorítmica— y aun así ser descrita de forma imprecisa, con atributos incorrectos o con una narrativa que no corresponde a lo que la organización realmente hace. Es el equivalente a ser muy conocido pero mal comprendido.

La situación inversa también ocurre: una organización puede ser descrita con precisión cuando aparece, pero aparecer raramente. Baja autoridad, alta credibilidad. En ese caso el problema es de visibilidad, no de exactitud narrativa.

Las dos dimensiones requieren intervenciones distintas. Confundirlas lleva a planes de acción que atacan el problema equivocado. Por eso el ACA-Score las mide por separado y las combina en un índice compuesto, pero nunca las colapsa en un único valor que pierda esa distinción.

Qué mide exactamente cada dimensión

Autoridad

La dimensión de autoridad evalúa el peso con el que el modelo incorpora a la organización en sus respuestas. Las preguntas concretas que estructuran esta medición son:

  • ¿El modelo menciona a la organización cuando se le pregunta sobre su sector o categoría?
  • ¿La menciona en primer lugar, en un listado de opciones, o como referencia secundaria?
  • ¿Le atribuye declaraciones o posiciones propias, o solo la menciona de pasada?
  • ¿La cita como fuente de información en los temas en los que debería ser referencia?

La autoridad algorítmica no es lo mismo que la popularidad. Una organización puede generar muchas menciones en medios y tener baja autoridad en los modelos si esas menciones no son el tipo de señal que los modelos ponderan como indicador de especialización o referencia sectorial.

Credibilidad

La dimensión de credibilidad evalúa la precisión y coherencia con la que el modelo describe a la organización cuando la incluye en una respuesta. Las preguntas concretas:

  • ¿Lo que dice el modelo sobre la organización es factualmente correcto?
  • ¿Los atributos que le asigna corresponden a su posicionamiento real?
  • ¿La narrativa que construye el modelo es coherente con lo que la organización comunica sobre sí misma?
  • ¿Hay afirmaciones incorrectas, desactualizadas o confundidas con las de otra entidad?

Una credibilidad baja no siempre viene de un error factual grosero. A veces viene de una descripción genérica que no capta los atributos específicos de la organización, o de una narrativa que mezcla correctamente algunos datos pero los contextualiza mal. El resultado práctico es el mismo: el modelo transmite una imagen que no coincide con la que la organización querría que circulara.

Cómo se calcula el índice

El ACA-Score no es el resultado de un algoritmo automático. Es una evaluación estructurada que combina análisis cualitativo con ponderación cuantitativa.

El proceso parte de un conjunto de prompts diseñados para explorar sistemáticamente la representación de la organización en cada modelo: preguntas directas sobre la organización, preguntas sectoriales en las que debería aparecer, comparativas con competidores, preguntas sobre posiciones específicas que la organización ha comunicado. Las respuestas se analizan con un protocolo que evalúa cada dimensión en una escala ponderada, y el resultado es un índice entre 0 y 100 para cada dimensión y por modelo.

El índice compuesto —el ACA-Score de una organización en un modelo dado— refleja la combinación de ambas dimensiones con pesos que varían según el tipo de organización y el objetivo del análisis. No es el mismo peso el que debe darse a la autoridad para una consultora que necesita ser referencia en su sector, que el que corresponde a una empresa de productos de consumo donde la credibilidad narrativa tiene más impacto directo en la decisión de compra.

Qué permite hacer el índice

El ACA-Score tiene tres usos prácticos:

Diagnóstico de punto de partida. En el primer análisis de una organización, el índice establece el estado actual de la representación: cuánto hay que trabajar, en qué dimensión y en qué modelos. Una organización con autoridad alta y credibilidad baja tiene un problema diferente al de una con ambas dimensiones bajas, y el plan de acción consecuente también es diferente.

Comparativa entre modelos. Los modelos de lenguaje no representan a las organizaciones de la misma manera. ChatGPT, Claude, Gemini y Perplexity tienen corpus de entrenamiento distintos, actualizaciones en momentos distintos y patrones de citación distintos. El ACA-Score por modelo permite identificar dónde está el problema más urgente: en algunos modelos la organización tiene buena representación y en otros es prácticamente invisible.

Seguimiento en el tiempo. Una vez establecido el punto de partida, el índice se repite a los 90 días para evaluar si las acciones del plan han tenido efecto. Sin un índice comparable, es imposible saber si la situación mejoró, empeoró o se mantuvo igual. El ACA-Score da ese punto de referencia.

El número como punto de partida, no como objetivo

Una aclaración que hago siempre en los diagnósticos: el ACA-Score es una herramienta, no un fin en sí mismo. El objetivo no es tener un score alto. El objetivo es que los modelos de lenguaje representen a la organización de forma correcta y coherente con su posicionamiento real. El score mide en qué medida eso está ocurriendo.

Dicho de otro modo: una organización que llega a 90/100 en ambas dimensiones no ha «ganado» la reputación algorítmica. Ha construido una base sólida que requiere mantenimiento porque los modelos se actualizan, el sector evoluciona y la narrativa de la organización cambia. La gestión de la reputación algorítmica es continua, no puntual.

Lo que el primer diagnóstico permite es dejar de trabajar a ciegas. Con el ACA-Score inicial sobre la mesa, el plan de acción tiene un objetivo concreto, medible y con una fecha de revisión. Eso es exactamente lo que necesitan los equipos de comunicación para justificar la inversión y para poder reportar resultados.

Autora: Sonia Yánez Blum, investigadora en reputación algorítmica y relaciones públicas. ORCID 0000-0002-6695-8129

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Scroll al inicio