論文の概要: Grounded Checklist Partial Credit for Agent Skill Trajectories

• arxiv url: http://arxiv.org/abs/2608.27487v1
• Date: Wed, 26 Aug 2026 06:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.081057
• Title: Grounded Checklist Partial Credit for Agent Skill Trajectories
• Title（参考訳）: エージェントスキル軌道に対するグラウンドドチェックリストの一部クレジット
• Abstract要約: グラウンドドチェックリスト部分クレジット(GCPC)は、エージェント軌跡の人為的な部分クレジット評価である。 12のタスクから96のトラジェクトリに対する人間の評価は、G CPCが人間の進捗評価とより密接に一致していることを示している。 パイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件による評価を超えた適用性を示す。
• 参考スコア（独自算出の注目度）: 5.028537745773042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model agents increasingly tackle long-horizon tasks in interactive environments, yet their evaluation commonly relies on task-level success rates by reducing an entire execution trajectory to whether the task passes an official verifier. This binary score hides partial progress and is particularly limited for procedural agent skill evaluations, since a skill can alter execution without changing the final outcome. While checklists provide finer-grained evaluation by scoring individual task requirements, costly manual authoring and unreliable automatic generation make trustworthy evaluation difficult to scale. To address these challenges, we introduce Grounded Checklist Partial Credit (GCPC), a human-governed and LLM-instantiated partial-credit evaluation of agent trajectories. Humans define reusable rules once, from which an LLM instantiates a task-specific checklist grounded in the task instruction and official verifier. To keep judgment tied to evidence, a judge scores each item from execution log evidence alone and abstains when evidence is missing. A separate scripted step then applies the official verifier outcome to the score. Across a 4,455-trajectory, deduplicated SkillsBench evaluation population, GCPC better discriminates official PASS and FAIL outcomes than holistic judging on the shared subset (AUC 0.689 vs. 0.619). Human evaluation on 96 trajectories from 12 tasks shows that GCPC aligns more closely with human assessments of progress. Applied to 1,946 matched with/without-skill pairs, GCPC exposes the effects hidden by pass@1: among 879 pairs whose binary outcome does not change, 20.9% improve by more than 0.10 while 18.7% regress by the same margin. The GCPC pipeline also transfers to Terminal-Bench and SWE-bench, demonstrating applicability beyond skill-conditioned evaluation.
• Abstract（参考訳）: 言語モデルエージェントは、対話環境における長期タスクへの取り組みが増えているが、その評価は一般に、タスクが公式の検証をパスするかどうかに、実行軌跡全体を減少させることによるタスクレベルの成功率に依存している。 このバイナリスコアは部分的な進歩を隠蔽し、最終結果を変えることなく実行を変更することができるため、手続き的エージェントのスキル評価に特に制限される。 チェックリストは個別のタスク要求を評価することでよりきめ細かい評価を提供するが、手作業による手作業のオーサリングや信頼性の低い自動生成はスケールし難い。 これらの課題に対処するために,エージェントトラジェクトリの人為的かつLLM的部分クレジット評価であるグラウンドドチェックリスト部分クレジット(GCPC)を導入する。 人間は再利用可能なルールを一度定義し、LLMはタスク命令と公式の検証器に基礎を置いているタスク固有のチェックリストをインスタンス化する。 証拠に関連付けられた判断を維持するために、裁判官は、実行ログの証拠だけで各項目をスコアし、証拠が欠落した時に棄権する。 次に、別のスクリプト化されたステップが公式検証結果をスコアに適用する。 4,455軌跡の非重複SkillsBench評価集団において、GCPCは共有サブセット(AUC 0.689 対 0.619 対 0.689 対 0.619)を総合的に判断するよりも公式PASS と FAIL 結果をよりよく識別する。 12のタスクから96のトラジェクトリに対する人間の評価は、GCPCが人間の進捗評価とより密接に一致していることを示している。 1,946対/非スキルペアに適用すると、GCPCはpass@1によって隠された効果を露呈する: バイナリ結果が変化しない879対のうち、20.9%が0.10以上改善され、18.7%が同じマージンで後退する。 GCPCパイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件付き評価を超えた適用性を示す。

関連論文リスト

• GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents [5.041247893188969]
  GAUGEは,ゲートのランクが確定可能な報酬と一致するかどうかを測定する,再利用可能なオフラインプロトコルである。 満足感は基本的にタスクの成功に関する情報を 含まないのです そこで我々は,無判定完備ビットをゼロコストトリップワイヤとしてトランニケーションレグレッションを補正するキャリブレート・テイントラストカデンスを提案する。
  論文  参考訳（メタデータ） (2026-09-10T20:29:28Z)
• MABPD: Multi-Agent Bias Probing & Detection via Structured Argument Debate [0.06999740786886537]
  MABPD(Multi-Agent Bias Probing & Detection)は、教師付き分類に代わる、原則化された、トレーニングなしの代替品である。 SADは、証明のドメイン動機による非対称な負担を実装する。 アブレーションは、単なるエージェント並列性ではなく、この構造化された検討によって性能が向上することを確認した。
  論文  参考訳（メタデータ） (2026-09-04T07:58:33Z)
• Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
  エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。 最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。 我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
  論文  参考訳（メタデータ） (2026-07-24T14:55:19Z)
• Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking [0.0]
  本稿では,小売会話システムの大規模評価を行うための管理型構成駆動パイプラインであるGenAI Evaluationを提案する。 このフレームワークは、有用性、真理性、明瞭性、音調アライメント、翻訳特化次元を評価する。 パイプラインのマクロF1スコアは0.93で、翻訳の精度は89%だった。
  論文  参考訳（メタデータ） (2026-07-13T19:01:56Z)
• Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
  本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
  論文  参考訳（メタデータ） (2026-06-30T21:10:42Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Policy-Conditioned Counterfactual Credit for Verifiable Reinforcement Learning of Long-Horizon Language Agents [0.0]
  検証可能な報酬による強化学習は推論とツールの使用を改善するが、長期の言語エージェントは依然として、証拠連鎖と信念の漂流を学習する。 本稿では, 厳密な検証可能な報酬, 介入正当性ゲーティング, および政策条件付き対実的貢献(PCCC)推定器を用いた制約付きポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-06-03T16:19:36Z)
• SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge? [26.684941358964704]
  SEALは飽和ベンチマークから遅延ランキング信号を抽出するための自己改善評価プロトコルである。 我々は、コード生成、数学的推論、知識集約型質問応答、ツール使用エージェントタスク完了を含む複数の飽和ベンチマーク上でSEALを評価する。
  論文  参考訳（メタデータ） (2026-05-28T15:46:54Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• IMPACT-HOI: Supervisory Control for Onset-Anchored Partial HOI Event Construction [72.51952455865155]
  我々は,エゴセントリックなプロシージャビデオに注釈を付けるための混合開始型フレームワークIMPACT-HOIを提案する。 IMPACT-HOIは、このタスクを部分的に指定され、オンセットされたイベント状態の漸進的な解決として捉えている。 9人の参加者によるユーザスタディでは、手動のアノテーションアクションが13.5%減少し、46.67%のイベントマッチレート、確認されたフィールド違反がゼロである。
  論文  参考訳（メタデータ） (2026-05-03T01:37:40Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。