Conserva un conjunt de converses per detectar desviacions abans que arribin a Teams
Un agent funciona bé fins que algú actualitza una instrucció, substitueix un procediment de SharePoint o afegeix una eina nova. L’endemà, la resposta continua sonant segura, però consulta una font equivocada, omet una condició o deixa de cridar l’eina que resolia el cas. És una incidència especialment incòmoda: no sembla una fallada fins que una persona la detecta en una conversa real.
La pràctica que evita aquesta deriva és construir una prova de regressió: un conjunt fix de converses que executeu abans de publicar canvis. No serveix per demostrar que l’agent és perfecte. Serveix per comparar-lo amb ell mateix i descobrir si una modificació ha alterat comportaments que ja havíeu validat.
Copilot Studio permet crear conjunts de proves, executar-los de manera repetible i consultar tant el resultat de cada cas com la transcripció i el mapa d’activitat. Això permet comprovar la resposta, però també el recorregut: quina font s’ha consultat, quina eina s’ha executat i en quin punt l’orquestrador ha pres una decisió. (learn.microsoft.com)
Imagineu un agent intern que orienta l’equip davant incidències de portàtils. Pot cercar procediments a SharePoint i, quan detecta un cas crític, derivar la persona cap al circuit de suport. Creeu una bateria inicial de 12 casos: vuit consultes habituals, dos missatges amb informació insuficient, un cas fora d’abast i un cas que ha d’escalar. Per exemple: «No puc entrar a la VPN des de fora» ha de recuperar el procediment vigent; «He perdut un dispositiu amb dades de client» ha d’aturar la conversa operativa i activar l’escalat establert.
Per muntar-la amb criteri:
-
Definiu comportaments observables. Per a cada conversa, escriviu què ha de passar: font concreta, pregunta de seguiment, eina requerida, derivació o negativa raonada. “Respondre bé” és massa ambigu per detectar una regressió.
-
Incloeu casos que intentin desviar l’agent. Afegiu peticions fora de domini, frases incompletes, noms de procediments antics i preguntes que barregen dos problemes. Són les converses que revelen instruccions febles i fonts massa àmplies.
-
Executeu el conjunt abans i després de cada canvi rellevant. Feu-ho després de modificar instruccions, eines, autenticació o coneixement. Reviseu els casos fallits un a un: una puntuació global ajuda a prioritzar, però no substitueix el judici tècnic.
-
Mireu el mapa d’activitat. Una resposta acceptable pot amagar una ruta incorrecta. Si l’agent ha respost sense invocar l’eina que conté l’estat operatiu, tracteu aquella resposta com a no verificada, encara que sembli plausible. (learn.microsoft.com)
Hi ha prerequisits. Necessiteu accés a l’entorn de Power Platform i el rol Agent author per crear o modificar l’agent. Les proves amb fonts o eines autenticades s’executen amb la identitat de la persona que les llança; per validar el comportament d’un perfil amb permisos diferents, cal iniciar sessió amb aquell perfil. Aquesta distinció és essencial quan l’agent consulta SharePoint amb permisos de cada usuari. (learn.microsoft.com)
L’avaluació automatitzada també té límits. Algunes experiències d’avaluació poden aparèixer com a vista prèvia i consumir crèdits, segons la configuració del tenant. A més, una prova de qualitat no certifica que una resposta sigui certa en tots els contextos. La seguretat, els permisos i el contingut sensible requereixen revisió humana i proves amb identitats representatives. (learn.microsoft.com)
Repte immediat: obriu el vostre agent i escriviu tres converses que no voldríeu que canviessin mai. Una ha de comprovar una font, una altra una eina i la tercera un límit o escalat. Ja teniu l’embrió del vostre control de qualitat.