メインコンテンツへスキップ
W&B Weave のAgents ビューでは、シグナル タブに、エージェントの会話に対する タグ と 評価 が表示されます。シグナル は品質や安全性に関する問題を可視化し、問題をフラグ付けしたり、パターンを見つけたり、注意が必要なトレースを強調表示したりするのに役立ちます。シグナル を使用すると、エージェントの応答の品質を自動的にスコアしたり、ユーザーのいら立ちに気づいたり、NSFW コンテンツをフラグ付けしたりできます。

​
Get started

project のシグナルを表示するには、次の手順を実行します。
  1. https://wandb.ai にアクセスし、project を選択します。
  2. サイドバー メニューで Agents を選択し、project に保存されているすべてのエージェントとの会話を表示します。
  3. タブバーで シグナル を選択します。
エージェントのスコアが付与されたターンの一覧を表示する シグナル タブ。

​
主要な用語

  • Turn: ユーザーとエージェントの1往復のやり取りです。
  • Rating: 一致したスパンに割り当てられる、0.0〜1.0の数値スコアです。
  • Tags: 一致したスパンに割り当てられるラベルです。たとえば、“user-frustration” や “nsfw” などがあります。

​
シグナルの表

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、いずれかのシグナル モニターの出力を表します。次の列がデフォルトで表示されます。 時間範囲セレクターと Filter バーを使用して、Scorer、エージェント、スコア範囲、または期間で結果を絞り込みます。Score volume タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。これは表に表示されている行を反映しており、タイムライン上でドラッグしてフィルターできます。

​
新しいシグナルを作成する

エージェントのターンのスコアリングを開始するには、1 つ以上のシグナルを作成してください。+ New signal を選択して、Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルは次の 2 つのカテゴリに分かれています。
  • タグ: user-frustration や nsfw など、一致するスパンにラベルを自動的に付与します。タグ を使用すると、スパンを分類したり、望ましくない動作にフラグを付けたりできます。signals UI には少なくとも 1 つのタグに一致したスパンの行だけが表示されるため、出力が表示されなくても、タグ シグナルが正常に実行されている場合があります。
  • 評価: 一致するスパンに 0 から 1 のスコアを割り当てます。評価 を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

​
プリセットシグナル

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意の組み合わせでプリセットを選択し、Create [N] signals を選択すると、それらをすべてデフォルト設定でまとめて作成できます。

​
タグプリセット

​
評価プリセット

​
カスタムシグナル

Create signals ドロワーでは、タグ と 評価 の各カテゴリの下部に、カスタムシグナルを作成するオプションがあります。 独自のシグナルを定義するには、Custom Tags または Custom Rating を選択します。すると、次のフィールドを含む設定画面が開きます。
  • Prompt template: 必要に応じて、1 つ以上のプリセットテンプレートをベースに Scorer を設定できます。テンプレートを選択すると、Scorer prompt に内容が自動入力されます。複数のテンプレートを組み合わせることも、プロンプトを最初から作成することもできます。
  • Scorer prompt: スコアリング時に Inference モデルへ送信されるプロンプトです。Weave は、{input_messages}、{output_messages}、{system_instructions}、{agent_name} などのテンプレート変数を、スコアリング時に解決します。
  • Scorer name: このシグナルの表示名です。
  • Inference model: スコアリングに使用する LLM です。デフォルトは Serverless Inference です。CoreWeave Serverless Inference を使用すると、W&B アカウントのクレジットが消費されます。
  • Advanced: 展開して追加オプションを設定します。
    • Only score turns matching: 1 つ以上のフィルターを追加して、シグナルがスコアリングするターンを絞り込めます。たとえば、エージェント、operation、tool、またはモデルで条件を指定できます。空のままにすると、すべてのエージェントターンがスコアリングされます。Weave は複数のフィルターを AND ロジックで結合します。
    • Sample rate: トラフィックの多いエージェントでは、サンプルレートを下げることで、すべてのターンではなく条件に一致したターンの一部のみをスコアリングし、コストを削減できます。
保存するには、Create signal を選択します。

​
シグナルの管理と編集

少なくとも 1 つのシグナルを作成している場合は、ツールバーのアクティブなシグナル ボタン (1 active signals のように、有効なシグナル数が表示されます) を選択すると、project で有効なすべてのシグナルを一覧表示するドロワーが開きます。ここから、シグナルのオン/オフを切り替えたり、削除したり、各シグナルを編集したりできます。エディタには、カスタム シグナルと同じ設定項目が表示されます。

​
シグナルのトラブルシューティング

シグナルのアクティビティは、プロジェクトのサイドバーにある Traces に表示されます。想定したシグナルの一致が表示されない場合は、Traces 表を使ってデバッグしてください。たとえば、Scorer 名や、エラーが発生していないか Status 列を確認してください。Scorer の実行エラーが発生すると、Status に赤いインジケーターが表示され、エラーの詳細も確認できます。