論文の概要: SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

• arxiv url: http://arxiv.org/abs/2602.12670v1
• Date: Fri, 13 Feb 2026 07:06:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.874026
• Title: SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
• Title（参考訳）: SkillsBench: エージェントスキルがさまざまなタスクでどのように機能するかのベンチマーク
• Abstract要約: エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
• 参考スコア（独自算出の注目度）: 61.89812116484928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent Skills are structured packages of procedural knowledge that augment LLM agents at inference time. Despite rapid adoption, there is no standard way to measure whether they actually help. We present SkillsBench, a benchmark of 86 tasks across 11 domains paired with curated Skills and deterministic verifiers. Each task is evaluated under three conditions: no Skills, curated Skills, and self-generated Skills. We test 7 agent-model configurations over 7,308 trajectories. Curated Skills raise average pass rate by 16.2 percentage points(pp), but effects vary widely by domain (+4.5pp for Software Engineering to +51.9pp for Healthcare) and 16 of 84 tasks show negative deltas. Self-generated Skills provide no benefit on average, showing that models cannot reliably author the procedural knowledge they benefit from consuming. Focused Skills with 2--3 modules outperform comprehensive documentation, and smaller models with Skills can match larger models without them.
• Abstract（参考訳）: エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 急速な採用にもかかわらず、彼らが実際に助けているかどうかを測る標準的な方法はない。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 各タスクは、スキルなし、キュレートされたスキル、自己生成スキルの3つの条件で評価される。 7つのエージェントモデル構成を7,308個のトラジェクトリ上でテストする。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)引き上げるが、効果はドメインによって大きく異なる(ソフトウェア工学では+4.5pp、ヘルスケアでは+51.9pp)。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。 2--3モジュールによるフォーカスされたスキルは、包括的なドキュメントよりも優れており、スキルを持った小さなモデルは、それなしで大きなモデルにマッチすることができる。

関連論文リスト

• SkillAlchemy: Open-World Agent Skill Creation [11.836010370630568]
  エージェントスキルは、言語エージェントを特殊化、ツール規約、推論時のドメイン動作で拡張する再利用可能な手続き的アーティファクトである。 信頼できるスキルを作るには、人間のオーサシップ、モデルの事前、実行トレースに大きく依存します。 本稿では,SkillAlchemyを提案する。
  論文  参考訳（メタデータ） (2026-08-24T15:58:57Z)
• Signal or Noise? A Benchmark Study of Agent Skills in Web Development [6.7220476997481375]
  私たちはWebDev-Skills-Benchを使って、50のWeb-Benchプロジェクトで31の公開WebDevスキルと1000のタスクを研究しています。 4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らして4.2%減らし、タスク完了の深さを低くし、トークンコストを72%減らして394%減らす。 損失は簡単な初期タスクに集中し、スキルランキングはモデル間で弱い転送をし、アンチパターンルールは有用なスキルの中でサンプル重いコンテンツより優れています。
  論文  参考訳（メタデータ） (2026-08-24T10:13:07Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
  本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。 我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。 安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
  論文  参考訳（メタデータ） (2026-08-12T10:15:19Z)
• Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
  ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。 スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。 本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
  論文  参考訳（メタデータ） (2026-08-05T17:57:16Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
  現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。 我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。 本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
  論文  参考訳（メタデータ） (2026-06-10T01:11:50Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillsInjector: Dynamic Skill Context Construction for LLM Agents [16.631471381875816]
  既存の方法では、静的なステップとしてスキルインジェクションを扱い、一定の基準でスキルを選択し、事前に予算を固定し、説明をそのまま残します。 本稿では,これらの決定に共同で対処する2段階適応手法であるSkillsInjectorを提案する。 Tau2-bench、SkillsBench、ALFWorldで、SkillsInjectorは最強のベースラインを3.9点、6.1点、7.3ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-28T11:44:32Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• EvoSkill: Automated Skill Discovery for Multi-Agent Systems [6.319876096746374]
  エージェントスキルを自動的に発見・洗練する自己進化型フレームワークである textbfEvoSkill を紹介する。 EvoSkillは実行障害を分析し、新しいスキルや既存のスキルへの編集を提案し、それらを構造化された再利用可能なスキルフォルダに実体化する。 われわれはEvoSkillを米国財務データの根拠となる推論ベンチマークであるOfficeQAと、ノイズの多い検索ベンチマークであるSealQAの2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-03T09:07:22Z)
• SkillCraft: Can LLM Agents Learn to Use Tools Skillfully? [67.69996753743129]
  SkillCraftは、高レベルのツールコンポジションの生成と再利用を可能にする、明示的にストレステストエージェントのベンチマークである。 SkillCraftは、定量次元と構造次元の両方に沿ってスケールする困難を伴う、現実的で、構成性の高いツール使用シナリオを特徴としている。 本稿では,エージェントがアトミックツールを実行可能なスキルに自動生成し,タスク内およびタスク間のキャッシュと再利用を可能にする軽量な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-28T15:44:31Z)
• SkillNet: Create, Evaluate, and Connect AI Skills [159.47504178122156]
  SkillNetは、大規模にAIスキルを作成し、評価し、組織化するように設計されたオープンインフラストラクチャである。 私たちのインフラストラクチャは、20万を超えるスキルのリポジトリ、インタラクティブなプラットフォーム、多目的Pythonツールキットを統合しています。
  論文  参考訳（メタデータ） (2026-02-26T14:24:02Z)
• SoK: Agentic Skills -- Beyond Tool Use in LLM Agents [6.356997609995175]
  エージェントシステムは、より確実にロングホライゾンを実行するために、再利用可能な手続き能力、すなわちエージェントスキルに依存している。 本論文は,全ライフサイクルのスキルレイヤ(発見,実践,蒸留,貯蔵,構成,評価,更新)をマッピングする。 我々は、スキルベースのエージェントのセキュリティとガバナンスの影響を分析し、サプライチェーンのリスク、スキルペイロードによるインジェクションの促進、信頼度の高い実行をカバーします。
  論文  参考訳（メタデータ） (2026-02-24T13:11:38Z)
• PolySkill: Learning Generalizable Skills Through Polymorphic Abstraction [20.687269802717893]
  新しいフレームワークであるPolySkillを導入し、エージェントが一般化可能な構成スキルを学習できるようにする。 実験の結果,本手法はWebサイトにおけるスキルの再利用を1.7倍に改善することがわかった。 エージェントが自身の目標を特定して洗練させることで、PolySkillはエージェントのより良いカリキュラムを学ぶ能力を高める。
  論文  参考訳（メタデータ） (2025-10-17T17:56:00Z)
• SkillWeaver: Web Agents can Self-Improve by Discovering and Honing Skills [48.05057798832005]
  SkillWeaverは、再利用可能なスキルをAPIとして自律的に合成することで、Webエージェントの自己改善を可能にするスキル中心のフレームワークです。 新しいウェブサイトが与えられると、エージェントは自律的にスキルを発見し、実践のために実行し、実践経験を堅牢なAPIに蒸留する。 WebArenaと実世界のWebサイトでの実験は、SkillWeaverの有効性を示し、それぞれ31.8%と39.8%の相対的な成功率の向上を達成した。
  論文  参考訳（メタデータ） (2025-04-09T17:51:50Z)
• Inducing Programmatic Skills for Agentic Tasks [69.29902147942673]
  本研究では,エージェントがプログラムベースのスキルをその場で誘導し,検証し,活用することで,エージェントの適応を可能にするエージェントスキル誘導(ASI)を提案する。 ASIは静的ベースラインエージェントとテキストスキルを23.5%、成功率11.3%で上回っている。
  論文  参考訳（メタデータ） (2025-04-09T12:25:37Z)
• Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
  集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。 モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。 私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:51:40Z)
• SkillMatch: Evaluating Self-supervised Learning of Skill Relatedness [11.083396379885478]
  SkillMatchは、数百万の求人広告から専門知識をマイニングしたスキル関連性タスクのためのベンチマークです。 また,求人広告におけるスキル共起に基づくSentence-BERTモデルを適応するための,スケーラブルな自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:05:26Z)
• SkillMimic: Learning Basketball Interaction Skills from Demonstrations [85.23012579911378]
  我々は、エージェントがインタラクションスキルを学習する方法を根本的に変える統合データ駆動フレームワークであるSkillMimicを紹介した。 私たちの重要な洞察は、統合されたHOI模倣報酬は、HOIデータセットから多様な相互作用パターンの本質を効果的に捉えることができるということです。 評価のために,約35分間のバスケットボールスキルを含む2つのバスケットボールデータセットを収集,導入した。
  論文  参考訳（メタデータ） (2024-08-12T15:19:04Z)
• Agentic Skill Discovery [19.5703917813767]
  言語条件付きロボット技術により、Large Language Models (LLMs) の高レベル推論を低レベルロボット制御に適用することができる。 残る課題は、さまざまな基本的なスキルを取得することです。 LLMによって完全に駆動されるスキル発見のための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-23T19:44:03Z)
• Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics [18.546688182454236]
  スキルベース強化学習(RL)は、ロボット学習の加速に先行知識を活用するための有望な戦略として登場した。 本研究では,状態条件付き生成モデルを用いて,スキル空間における探索を高速化する手法を提案する。 我々は4つの困難な操作タスクにまたがってアプローチを検証する。
  論文  参考訳（メタデータ） (2022-11-04T02:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。