論文の概要: SkillForgeBench: Evaluating Agent Reliability Grounded in Agent Skill Specifications

• arxiv url: http://arxiv.org/abs/2610.14918v1
• Date: Sat, 10 Oct 2026 13:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.13158
• Title: SkillForgeBench: Evaluating Agent Reliability Grounded in Agent Skill Specifications
• Title（参考訳）: SkillForgeBench: エージェントスキル仕様に基づくエージェント信頼性の評価
• Abstract要約: SkillForgeBenchは、多様で手続き的に複雑な要件を厳密に満たすエージェントの能力を評価するツールである。 3つの共同設計段階にまたがって実行ブループリントを統一する。 Opus 4.8が主導する8つのメインストリームエージェントの中で、能力の急激な階層が明らかにされている。
• 参考スコア（独自算出の注目度）: 31.29541971475308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating an agent's ability to strictly satisfy diverse and procedurally complex requirements is essential to determining its practical reliability. Conducting such an evaluation demands agentic tasks that reconcile broad domain coverage with deep procedural complexity. Existing paradigms face a fundamental trade-off: expert-curated benchmarks achieve procedural depth but suffer from domain diversity bottlenecks, whereas crowdsourced benchmarks span diverse scenarios but lack execution rigor. To resolve this tension, we present SkillForgeBench, which leverages agent skills as unifying execution blueprints across three co-designed stages: (1) Resource Preparation uses domain-balanced skills to guide artifact retrieval, establishing broad workflow coverage; (2) Skill-driven Task Synthesis employs skills as procedural anchors to partition artifact roles, synthesize naturalistic task instructions, and package sandboxed scenarios for deep procedural execution; and (3) Holistic Evaluation Design translates skill-embedded requirements into fine-grained completion and process rubrics to enable strict requirement-level scoring. Comprising 842 sandboxed tasks across five major professional domains, SkillForgeBench reveals a steep capability hierarchy among eight mainstream agents, led by Opus 4.8 ($40.9\%$ strict completion). Requiring all constrains satisfaction uncovers severe capability bottlenecks across all model tiers that remain masked under individual rubric pass rates ($70.0\%$ to $85.7\%$ vs. $12.6\%$ to $40.9\%$). Crucially, under the external guidance from skills, top-tier agents obtain larger gains than low-tier agents (i.e., $Δ19.2\%$ for Opus 4.8 vs. $Δ5.8\%$ for Haiku 4.5). Finally, agents satisfy process rubrics far less frequently than completion rubrics (under $3\%$ for Haiku 4.5), proving that completion-only checks overestimate real-world agent reliability.
• Abstract（参考訳）: エージェントが多様で手続き的に複雑な要求を厳密に満たす能力を評価することは、その実用的信頼性を決定する上で不可欠である。 このような評価を行うには、広範囲にわたるドメインカバレッジを深く手続き的な複雑さと整合させるエージェント的なタスクが必要である。 専門家によるベンチマークは手続き的な深さを達成するが、ドメインの多様性のボトルネックに悩まされる一方、クラウドソースベンチマークはさまざまなシナリオにまたがるが、実行の厳格さに欠ける。 この緊張を解消するために, エージェントのスキルを3つの共同設計段階にわたる実行青写真として活用するSkillForgeBenchを提案する。(1) 資源準備では, アーティファクト検索のガイド, 広いワークフローのカバレッジの確立, (2) スキル駆動型タスク合成では, アーティファクトロールの分割, 自然主義的タスク命令の合成, サンドボックス化されたシナリオのパッケージ化, (3) ホロスティック・アセスメント・デザインでは, スキルを組み込んだ要件を, きめ細かい完成度とプロセスルーブリクスに翻訳し, 厳密な要件レベル評価を実現する。 SkillForgeBenchは、5つの主要なプロフェッショナルドメインにわたる842のサンドボックスタスクを補完し、Opus 4.8(40.9\%$ strict completion)が主導する8つのメインストリームエージェントの間で、急激な機能階層を明らかにしている。 すべての制約を満足させることで、個々のルーリックパスレート($70.0\%から$85.7\%、$12.6\%から$40.9\%)で隠されたモデル層全体の深刻な能力ボトルネックが明らかになる。 重要なことは、スキルの外部指導のもと、上位のエージェントは下位のエージェントよりも大きな利得を得る(すなわち、オプス4.8に対して$Δ19.2\%、俳句4.5では$Δ5.8\%)。 最後に、エージェントは完了ルーリックよりもはるかに少ない頻度(Haiku 4.5の$3\%以下)でプロセスルーリックを満足し、完了のみが現実のエージェントの信頼性を過度に評価することを証明する。

関連論文リスト

• Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows [1.9371675344367496]
  FinSkillBenchはポートフォリオ構築、リスク管理、基本分析において12のサブタスクにまたがる2,603ポイントのタイムエピソードの評価スイートである。 キュレートされたスキルパッケージでは,平均スコアが+16.2ポイント(0.366～0.528)上昇するのに対し,単一のエピソード内で生成されたスキルは+0.5ポイント増加し,トークンやターンを多く消費する。
  論文  参考訳（メタデータ） (2026-10-02T16:44:04Z)
• What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents [58.87681796862133]
  我々は経済的なレンズを通してスキルの書き直しを勉強する。 我々のフレームワークは、情報保存戦略を用いて、スキル構造をプロファイルし、スキルを書き換える。 SkillsBenchの実験は、戦略間の異なる品質とコストのトレードオフを明らかにしている。
  論文  参考訳（メタデータ） (2026-06-08T12:36:51Z)
• TensorBench: Benchmarking Coding Agents on a Compiler-Based Tensor Framework [0.9012337166501982]
  CohenBenchはオープンソースのコンパイラベースのフレームワーク上のタスクのベンチマークである。 エージェントのパッチを適用して、フレームワークのテストスイートを実行することで、各実行をグレードする。 3つのフロンティアモデルファミリーと1つのオープンウェイトモデルにまたがる7つの符号化エージェントを評価した。
  論文  参考訳（メタデータ） (2026-06-04T01:42:40Z)
• CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
  現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。 $-Benchは3つのドメインにわたる長期医療のベンチマークである。 30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
  論文  参考訳（メタデータ） (2026-05-15T22:34:31Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
  実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。 各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。 また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:48:05Z)
• Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models [33.1538965735133]
  Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。 4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。 GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。
  論文  参考訳（メタデータ） (2024-08-15T17:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。