論文の概要: Counsel: A Meta-Evaluation Dataset for Agentic Tasks

• arxiv url: http://arxiv.org/abs/2606.21627v1
• Date: Fri, 19 Jun 2026 17:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 04:30:39.719034
• Title: Counsel: A Meta-Evaluation Dataset for Agentic Tasks
• Title（参考訳）: Counsel: エージェントタスクのためのメタ評価データセット
• Authors: Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis,
• Abstract要約: Counselは、エージェントタスクのメタ評価の最初の公開データセットである。 2つのエージェントベンチマーク上のオープンウェイト LLMJ からのプロセスレベルの批判で構成されている。 ヒューマンアノテータは、各フラグ付きエラーの批判を「スポットオン」、「正確な位置だが、推論が不十分」、または「フラグ付きでない」とラベル付けする。
• 参考スコア（独自算出の注目度）: 8.10022820678836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.
• Abstract（参考訳）: エージェントシステムはますます複雑なマルチステップタスクに取り組むため、それらの軌道を評価することが大きなボトルネックとなる。一般的なエージェントベンチマーク上の単一の軌道の人間のアノテーションは数時間かかる可能性があるため、パフォーマンスの測定やトレーニングデータのキュレーションのための評価のスケールが困難になる。 このことは、LLM-as-a-judge (LLMJ) のような自動化アプローチを、プロセスにおけるエージェントの批判や大規模な結果レベルの批判に広く依存させたが、LLMJ批判の健全性は、しばしば未測定である。 本稿では,エージェントタスクのメタ評価に関する最初の公開データセットであるCounselを紹介する。 Counsel は、オープンウェイト LLMJ の2つのベンチマーク、すなわち Tau-bench (顧客サポートエージェント) と DA-Code (コーディングエージェント) のプロセスレベルの批判と、これらの批判に対する人間のメタ評価で構成されている。 人間の注釈者は、各フラグ付きエラーの批判を「スポットオン」、「正確な位置は正しいが、不適切な推論」、あるいは「フラグ付きでない」とラベル付けし、信頼できるアノテーション間の合意(クリッペンドルフのαは0.78)を達成した。 結果として得られたデータセットは、軌道内のエラー位置と推論品質の両方を人間のアライメントによってLCMJ批判を階層化し、エージェントのLSMJを校正、改善、訓練するための貴重なデータとして機能する。 オープンウェイトな審査員と比較すると、より有能な判断モデルと推論の努力により、両者が人間の合意を改善し、最強の審査員は位置について約88%、推論について約65%に達した。 Counselはオープンウェイトモデルを用いて生成され、広範囲のコミュニティでの使用が許可されているため、厳密な研究とエージェントシステムのためのLCMベースの評価器のアライメントの改善が期待できる。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
  エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。 我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。 GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
  論文  参考訳（メタデータ） (2026-04-29T22:09:47Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator [6.532478490187084]
  MESAは、個々のエラータイプを3段階評価し、意思決定の洗練のためのマルチエージェント議論と、エラー定義の理解と人間の判断との整合性を洗練するためのフィードバックベースの自己学習を取り入れている。 GPT-4oを背骨として、MESAは、エラー検出における人間の判断と、要約品質に対するエラーの影響を反映するミッドスパイアマンとケンドールの相関を、平均0.25以上の方法で達成する。
  論文  参考訳（メタデータ） (2024-11-27T15:35:32Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。