論文の概要: SkillTV-Bench: Benchmarking How Well Judges Perform on Skill-Augmented Agentic Execution
- arxiv url: http://arxiv.org/abs/2608.05573v1
- Date: Thu, 06 Aug 2026 03:52:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.817683
- Title: SkillTV-Bench: Benchmarking How Well Judges Perform on Skill-Augmented Agentic Execution
- Title（参考訳）: SkillTV-Bench: スキル強化されたエージェント実行において、裁判官がいかにうまく機能するかのベンチマーク
- Abstract要約: LLMエージェントは、ツールの使用や環境相互作用を通じて、より長い水平タスクを実行し、最終応答スコアから完全な実行の検証へと評価をシフトする。
我々はSkillTV-Benchについて紹介する。SkillTV-Benchは、11のドメインにまたがる50のタスクから、681ケースの実際のエージェントトラジェクトリのベンチマークである。
また,再利用可能な判断スキルとして検証知識を外部化するSkillTV-Evolveを提案する。
- 参考スコア（独自算出の注目度）: 9.695442380430157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly execute long-horizon tasks through tool use and environment interaction, shifting evaluation from final-response scoring to verification of complete executions. For skill-augmented agents, verification additionally requires the procedural knowledge encoded in task-time skills, because this knowledge indicates what evidence to inspect and which failures are task-critical. However, existing judge benchmarks often expose final responses or static trajectories, and rarely combine task-time skills with directly inspectable artifacts and environments. We therefore introduce SkillTV-Bench, a 681-case benchmark of real agent trajectories from 50 tasks across eleven domains, designed to evaluate skill-aware trajectory verification for both LLM-as-a-Judge and Agent-as-a-Judge methods. Additionally, we propose SkillTV-Evolve, which externalizes verification knowledge as a reusable JudgeSkill that guides an agent judge to plan targeted inspections and issue evidence-grounded verdicts. On a disjoint development pool, an automated evolution loop further refines the JudgeSkill using misjudged cases. On SkillTV-Bench, the refined skill increases the same agent judge's accuracy by 14.8 percentage points. In offline rollout-pool selection, it increases selected-trajectory success from 22.9% with one rollout to 45.5% with ten rollouts. The code and data are available at https://github.com/HanZhi306/SkillTV-Bench
- Abstract（参考訳）: LLMエージェントは、ツールの使用や環境相互作用を通じて、より長い水平タスクを実行し、最終応答スコアから完全な実行の検証へと評価をシフトする。
スキル強化エージェントの場合、検証にはタスクタイムスキルに符号化された手続き的知識が必要である。
しかし、既存の判定ベンチマークでは、最終応答や静的な軌跡が公開され、タスクタイムスキルと直接検査可能なアーティファクトや環境が組み合わされることは滅多にない。
そこで我々は, LLM-as-a-Judge 法と Agent-as-a-Judge 法の両方に対して, スキル・アウェアな軌道検証を行うために, 11領域にわたる50のタスクから実エージェント軌道の681ケースのベンチマークSkillTV-Benchを紹介した。
また,検証知識を再利用可能な判断スキルとして外部化するSkillTV-Evolveを提案する。
分離された開発プールでは、自動進化ループにより、誤ったケースを使用して判断スキルをさらに洗練する。
SkillTV-Benchでは、洗練されたスキルは同じエージェントの審査員の精度を14.8ポイント向上させる。
オフラインのロールアウトプール選択では、選択軌道の成功率が22.9%から1ロールアウトで45.5%、10ロールアウトで45.5%に増加する。
コードとデータはhttps://github.com/HanZhi306/SkillTV-Benchで公開されている。
関連論文リスト
- Signal or Noise? A Benchmark Study of Agent Skills in Web Development [6.7220476997481375]
私たちはWebDev-Skills-Benchを使って、50のWeb-Benchプロジェクトで31の公開WebDevスキルと1000のタスクを研究しています。
4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らして4.2%減らし、タスク完了の深さを低くし、トークンコストを72%減らして394%減らす。
損失は簡単な初期タスクに集中し、スキルランキングはモデル間で弱い転送をし、アンチパターンルールは有用なスキルの中でサンプル重いコンテンツより優れています。
論文 参考訳（メタデータ） (2026-08-24T10:13:07Z) - TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents [41.82249291285459]
TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。
GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。
これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
論文 参考訳（メタデータ） (2026-08-24T04:36:03Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Agent Skills Matter: Inferring Proprietary Skills from Execution Trajectories [28.506562107355652]
本稿では,エージェント動作におけるスキルシグネチャの繰り返しを利用するフレームワークであるSigLeakを紹介する。
多様な、意思決定に富んだ診断タスクを構築し、スキル対応とスキル障害のトラジェクトリとを対比し、分離されたパターンから再構築されたスキルを反復的に洗練する。
平均的なスキル障害参照よりも成功率を6.88ポイント引き上げ、総合スキルシムを達成している。
論文 参考訳（メタデータ） (2026-07-28T10:40:59Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills? [36.863282825853645]
MMG2Skillは、ワイルドガイドをエージェント実行可能なスキルに変換するためのフレームワークである。
MMG2Skillは、モデルドメイン設定毎にバニラベースラインエージェントを一貫して上回る。
論文 参考訳（メタデータ） (2026-06-01T09:50:40Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。