Collecter les feedbacks et utiliser les annotations

• Créer des jeux de données d’évaluation pour le suivi des performances.
• Identifier et résoudre les problèmes de contenu des LLM.
• Recueillir des exemples pour des tâches avancées comme le fine-tuning.

• Donner un feedback dans l’UI
• Donner un feedback via le SDK
• Ajouter des annotations humaines

1. Dans la barre latérale du projet Weave, accédez à Traces.
2. Repérez la ligne correspondant à l’Appel auquel vous souhaitez ajouter un feedback.
3. Cliquez sur le nom de la trace associé pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
4. Dans la barre d’onglets des détails de l’appel, sélectionnez Feedback.
5. Ajoutez, affichez ou supprimez des feedbacks :
   • Ajoutez et affichez des feedbacks à l’aide des icônes situées dans l’angle supérieur droit de la vue Feedback des détails de l’appel.
   • Affichez et supprimez des feedbacks depuis le tableau Feedback des détails de l’appel. Supprimez un feedback en cliquant sur l’icône de corbeille dans la colonne la plus à droite de la ligne de feedback concernée.

• Tableau Traces : dans la colonne Feedback de la ligne correspondante du tableau Traces.
• Panneau des détails de l’appel : dans le coin supérieur droit de chaque panneau des détails de l’appel.

1. Cliquez sur l’icône emoji.
2. Ajoutez un pouce levé, un pouce baissé ou cliquez sur l’icône + pour afficher plus d’emojis.

1. Survolez la réaction emoji que vous souhaitez supprimer.
2. Cliquez sur la réaction pour la supprimer.

Vous pouvez également supprimer un feedback depuis la colonne Feedback du panneau des détails de l’appel.

1. Cliquez sur l’icône de bulle de commentaire.
2. Dans la zone de texte, ajoutez votre note. Le nombre maximal de caractères dans une note de feedback est de 1024.
3. Pour enregistrer la note, appuyez sur la touche Entrée. Vous pouvez ajouter d’autres notes.

• client.get_feedback() : Renvoie tout le feedback d’un projet.
• client.get_feedback("[FEEDBACK-UUID]") : Renvoie un objet feedback spécifique indiqué par [FEEDBACK-UUID] sous forme de collection.
• client.get_feedback(reaction="[REACTION-TYPE]") : Renvoie tous les objets feedback pour un type de réaction spécifique.

• id : l’ID de l’objet feedback.
• created_at : les informations de date de création de l’objet feedback.
• feedback_type : le type de feedback (réaction, note, personnalisé).
• payload : la charge utile du feedback.

import weave
client = weave.init('intro-example')

# Obtenir tout le feedback dans un projet
all_feedback = client.get_feedback()

# Récupérer un objet feedback spécifique par ID.
# L'API renvoie une collection, qui ne doit contenir au plus qu'un seul élément.
one_feedback = client.get_feedback("[FEEDBACK-UUID]")[0]

# Trouver tous les objets feedback avec une réaction spécifique. Vous pouvez spécifier offset et limit.
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# Après la récupération, afficher les détails de chaque objet feedback.
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

Cette fonctionnalité n’est pas encore disponible en TypeScript.

• call.feedback.add_reaction("[REACTION-TYPE]"): ajoute l’une des valeurs [REACTION-TYPE] prises en charge (émojis), par exemple 👍.
• call.feedback.add_note("[NOTE]"): ajoute une note.
• call.feedback.add("[LABEL]", [OBJECT]): ajoute un [OBJECT] de feedback personnalisé spécifié par [LABEL].

import weave
client = weave.init('intro-example')

call = client.get_call("[CALL-UUID]")

# Ajout d’une réaction emoji
call.feedback.add_reaction("👍")

# Ajout d’une note
call.feedback.add_note("this is a note")

# Ajout de paires clé/valeur personnalisées.
# Le premier argument est une chaîne "type" définie par l’utilisateur.
# Le feedback doit être sérialisable en JSON et faire moins de 1 Ko une fois sérialisé.
call.feedback.add("correctness", { "value": 5 })

Cette fonctionnalité n’est pas encore disponible en TypeScript.

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # Effectuer une opération simple
    output = f"Processed {input_value}"
    # Obtenir l’ID de l’appel en cours
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

Cette fonctionnalité n’est pas encore disponible en TypeScript.

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# Exécuter l’opération et récupérer le résultat ainsi que l’ID de l’Appel
result, call = simple_operation.call("example input")
call_id = call.id

Cette fonctionnalité n’est pas encore disponible en TypeScript.

call.feedback.purge("[FEEDBACK-UUID]")

Cette fonctionnalité n’est pas encore disponible en TypeScript.

1. Dans la barre latérale du projet, accédez à Assets.
2. Dans le panneau de navigation Assets, cliquez sur Scorers.
3. Dans l’en-tête du panneau Scorers, cliquez sur New scorer.
4. Dans la boîte de dialogue modale Create Scorer, définissez :
   • Scorer type sur Human annotation
   • Name
   • Description
   • Type, qui détermine le type de feedback à recueillir, par exemple boolean ou integer.
5. Cliquez sur Create scorer. Vous pouvez maintenant utiliser votre évaluateur pour effectuer des annotations.

1. Dans la barre latérale du projet, accédez à Traces.
2. Repérez la ligne de l’Appel auquel vous souhaitez ajouter une annotation humaine.
3. Cliquez sur le nom de la trace pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
4. Dans l’angle supérieur droit de la barre d’onglets des détails de l’Appel, cliquez sur le bouton Show feedback. Vos évaluateurs d’annotation humaine disponibles s’affichent dans un panneau Annotate.
5. Ajoutez une annotation.
6. Cliquez sur Save.
7. Dans la barre d’onglets du panneau des détails de l’Appel, cliquez sur l’onglet Feedback pour afficher le tableau Feedback. La nouvelle annotation apparaît dans le tableau. Vous pouvez également voir les annotations dans la colonne Annotations du tableau principal Traces.

   Actualisez le tableau Traces pour afficher les informations les plus récentes.

1. Importez la classe AnnotationSpec depuis weave.flow.annotation_spec.
2. Utilisez la méthode publish de weave pour créer l’évaluateur.

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

Cette fonctionnalité n’est pas encore disponible en TypeScript.

Vous pouvez consulter l’historique des objets d’évaluateur d’annotation humaine dans l’onglet Évaluateurs, sous Annotations humaines.

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# créer une nouvelle version de l’évaluateur
spec1 = AnnotationSpec(
  name="Temperature",
  description="La température perçue de l’appel LLM",
  field_schema={
    "type": "integer",  # <<- modifier le type en integer
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

Cette fonctionnalité n’est pas encore disponible en TypeScript.

import weave

client = weave.init("feedback-example")

call = client.get_call("[CALL-ID]")
annotation_spec = weave.ref("[ANNOTATION-SPEC-REF-URI]")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)