Crear una scorecard

Aprenda a crear una scorecard manualmente, objetivo por objetivo, y a elegir entre los modelos Caliber 1 y Caliber 2.

Una scorecard es un conjunto de criterios que se utiliza para evaluar una conversación. Indica a los evaluadores, y a la IA, qué deben buscar y cómo puntuar lo que observan. El mismo marco de scorecard se aplica tanto a las llamadas reales como a las sesiones de juego de rol, de modo que las puntuaciones de práctica y las de llamadas reales son directamente comparables.

Este artículo explica cómo crear una scorecard manualmente, objetivo por objetivo. Si prefiere que Outdoo AI le prepare un borrador, consulte Generar una scorecard con IA.

Qué contiene una scorecard

Detalles de la scorecard: un título, un objetivo final (para qué sirve la scorecard), el modo de puntuación de la IA, a qué se aplica la scorecard, el modelo de scorecard y, de forma opcional, recursos de referencia.

Objetivos: los comportamientos concretos que se evalúan, por ejemplo "Confirmed budget" o "Asked about timeline". Cada objetivo tiene sus propios criterios de puntuación, divididos en Must do (puntos necesarios para obtener una puntuación aprobatoria) y Good to do (puntos que van más allá) y puede etiquetarse con habilidades. En las scorecards Caliber 2, cada objetivo tiene además un Format y una nota When to mark N/A.

Puntuación global: cómo se combinan los objetivos en una sola puntuación, ya sea con el mismo peso para todos o con un peso por objetivo.

Mantenga las scorecards acotadas: de 5 a 10 objetivos suelen ser suficientes. Con más, los evaluadores empiezan a leer por encima.

Página de configuración Scorecards con la lista de scorecards publicadas y en borrador

La página Scorecards, donde aparece cada scorecard que crea junto con su estado de publicación.

Crear una scorecard manualmente

Vaya a Manage > Scorecards y haga clic en Add Scorecard. Se abre la ventana Create a new scorecard.

Haga clic en Start from scratch para empezar con una scorecard vacía, o haga clic en Select en una plantilla que se parezca a su caso de uso. Una plantilla rellena previamente un conjunto de objetivos que puede editar o eliminar. Si prefiere que Outdoo AI prepare el borrador de la scorecard, utilice Build with AI (consulte Generar una scorecard con IA).

En Scorecard Details, introduzca el Scorecard Title y el Final Objective, y elija un AI Scoring Mode (Standard, Strict o Very Strict). Lo que hace cada modo depende del modelo de scorecard. Consulte "AI Scoring Mode según el modelo de scorecard" más abajo.

En Apply to, elija dónde se usa la scorecard: Roleplay Agent (la opción predeterminada), Team, Team Member, Category o Deal Stage. Elija Roleplay Agent para usar la scorecard solo en sesiones de juego de rol.

En Scorecard model, elija Caliber 1 o Caliber 2. Las scorecards nuevas empiezan con Caliber 2, que aparece marcado como Recommended. Consulte "Elegir un modelo de scorecard" más abajo.

De forma opcional, defina el Recommendation Context (qué datos utiliza la IA para las recomendaciones de coaching) y adjunte un documento de referencia en Resources. Consulte Scorecards con recursos adjuntos.

En el panel izquierdo, en Objectives, seleccione un objetivo para editarlo o haga clic en + para añadir uno. Para cada objetivo, describa lo que debe demostrar el miembro del equipo, rellene Must do y Good to do y añada habilidades si procede. En Caliber 2, defina también Format y When to mark N/A. Consulte "Configurar cada objetivo" más abajo. Utilice Prev y Next para desplazarse entre los objetivos.

Seleccione Overall Score en el panel izquierdo y elija una Score Methodology: Equal Distribution (todos los objetivos cuentan lo mismo) o Weighted Distribution (defina un peso de 1 a 10 para cada objetivo).

Haga clic en Publish para que la scorecard esté disponible, o en Save Draft para terminarla más adelante.

Las plantillas se pueden editar por completo. Puede cambiar los objetivos, los criterios o los pesos en cualquier momento, incluso después de publicar.

Para usar esta scorecard en las sesiones de práctica, selecciónela en un agente de juego de rol. Consulte Crear una scorecard para el agente de juego de rol.

Elegir un modelo de scorecard

La opción Scorecard model de Scorecard Details controla cómo se evalúa la scorecard.

Desplegable Scorecard model con Caliber 1 y Caliber 2 (Recommended)

Elija Caliber 1 o Caliber 2 en Scorecard model, en la parte inferior de Scorecard Details.

Animación: elegir Caliber 2, abrir un objetivo, añadir un punto Must do y elegir un Format

Configuración de un objetivo de Caliber 2.

Modelo	Cómo funcionan las puntuaciones de rango	Cuándo una pregunta es N/A
Caliber 1	La IA elige cada puntuación de rango. Puede devolver cualquier número, con un máximo de 5.	La IA marca una pregunta como N/A cuando decide que la pregunta no aplica.
Caliber 2 (Recommended)	Las puntuaciones se calculan a partir de la lista de comprobación Must do y Good to do, en intervalos de medio punto de 0 a 5.	Una pregunta es N/A cuando no tiene elementos de la lista de comprobación que evaluar. También puede describir cuándo debe marcarse como N/A.

Las scorecards nuevas, incluidas las generadas con IA, usan Caliber 2. Las scorecards creadas antes de que existiera la opción de modelo de scorecard se abren como Caliber 1. Puede cambiar el modelo de una scorecard existente en cualquier momento.

Cambiar a Caliber 1. Caliber 1 no utiliza un formato personalizado ni una nota de cuándo marcar N/A. Si algún objetivo tiene el formato Yes/No o una nota When to mark N/A, la ventana Switch to Caliber 1? indica cuántos objetivos volverán al formato Range y en cuántos se borrará la nota N/A. El texto de los objetivos, los criterios de puntuación y las habilidades se mantienen. Haga clic en Switch to Caliber 1 para confirmar.

Ventana Switch to Caliber 1 con la lista de opciones de las preguntas que se restablecerán

La ventana Switch to Caliber 1? le indica qué se restablecerá antes de que confirme.

Cambiar a Caliber 2. Si intenta editar Format o When to mark N/A en una scorecard Caliber 1, se abre la ventana Switch to Caliber 2. Haga clic en Switch para cambiar el modelo de scorecard. Permanecerá en el mismo objetivo.

AI Scoring Mode según el modelo de scorecard

Los tres modos tienen el mismo nombre en ambos modelos, pero funcionan de forma distinta.

Modo	Caliber 1	Caliber 2
Standard	La IA elige una puntuación con cierto margen de tolerancia y otorga una puntuación parcial cuando los puntos de coaching se siguen en parte.	Los elementos Must do suponen el 70 % de la puntuación y los Good to do, el 30 %. Una marca parcial cuenta la mitad. Si no hay elementos Good to do, la puntuación procede solo de los elementos Must do.
Strict	Más exigente que Standard. Para obtener una puntuación alta, los puntos de coaching deben seguirse claramente, con cierta flexibilidad en la forma de expresarlos.	Más exigente que Standard. Los elementos Must do no cumplidos bajan más la puntuación. Los elementos Good to do siguen sumando una vez que los Must do se cumplen en gran medida.
Very Strict	Solo se obtiene una puntuación alta cuando los puntos de coaching se siguen exactamente. Ideal para equipos con muchos requisitos normativos o para llamadas de alto impacto.	Todos los elementos Must do deben cumplirse para que la puntuación supere 4. Si se cumplen todos los Must do pero no los Good to do, la puntuación es 4. La puntuación solo es 5 cuando se cumplen todos los elementos de la lista de comprobación.

En Caliber 2, cada elemento Must do y Good to do se marca como cumplido, parcial o no cumplido, y las puntuaciones van en intervalos de medio punto de 0 a 5.

Configurar cada objetivo

Scoring Criteria (Must do y Good to do): en las scorecards Caliber 2, cada uno es una lista de puntos independientes. Escriba un punto y pulse Intro, o haga clic en Add point, para empezar el siguiente. Haga clic en Remove point para eliminar uno. Escriba un comportamiento observable por punto, ya que cada punto se evalúa por separado. En las scorecards Caliber 1, Must do y Good to do son cuadros de texto libre.

Format (solo Caliber 2): Range (0 to 5) puntúa el objetivo de 0 a 5. Yes (5)/ No (0) puntúa Yes con un 5 y No con un 0.

When to mark N/A (solo Caliber 2): describa cuándo debe marcarse el objetivo como N/A y quedar fuera de la puntuación, por ejemplo "Mark N/A if the customer never raises an objection."

Skills: etiquete hasta 10 habilidades por objetivo.

Editor de objetivos de Caliber 2 con puntos Must do y Good to do y botones para añadir

En Caliber 2, cada elemento Must do y Good to do es un punto independiente.

Opciones de Format Range (0 to 5) y Yes (5)/ No (0), y una nota When to mark N/A

Elija un Format y describa cuándo debe marcarse el objetivo como N/A.

Consejos

Utilice un lenguaje claro y observable. "El miembro del equipo hizo al menos dos preguntas abiertas de descubrimiento" es más fácil de puntuar de forma coherente que "El miembro del equipo mostró curiosidad".

Alinee cada objetivo con un comportamiento real que quiera que los miembros del equipo cambien o refuercen.

Revise la scorecard después de los primeros usos. Los criterios que puntúan igual en todas las llamadas son demasiado fáciles o demasiado difíciles y deben ajustarse.

Esperamos que este artículo le haya resultado útil. Si tiene alguna consulta, escríbanos a support@outdoo.ai