論文の概要: How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings

• arxiv url: http://arxiv.org/abs/2604.04323v1
• Date: Mon, 06 Apr 2026 00:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.044219
• Title: How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings
• Title（参考訳）: エージェントスキルが野生でどのように機能するか - LLMスキルを現実的な環境でベンチマークする
• Authors: Yujian Liu, Jiabao Ji, Li An, Tommi Jaakkola, Yang Zhang, Shiyu Chang,
• Abstract要約: 本研究は,段階的に挑戦的な現実的な環境下でのスキルユーティリティの総合的研究である。 その結果、設定がよりリアルになるにつれて、パフォーマンスは一貫して低下することがわかった。 クエリ固有の改善は、初期スキルが合理的な妥当性と品質を持つ場合に、性能を著しく回復することを示す。
• 参考スコア（独自算出の注目度）: 29.3744517703302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent skills, which are reusable, domain-specific knowledge artifacts, have become a popular mechanism for extending LLM-based agents, yet formally benchmarking skill usage performance remains scarce. Existing skill benchmarking efforts focus on overly idealized conditions, where LLMs are directly provided with hand-crafted, narrowly-tailored task-specific skills for each task, whereas in many realistic settings, the LLM agent may have to search for and select relevant skills on its own, and even the closest matching skills may not be well-tailored for the task. In this paper, we conduct the first comprehensive study of skill utility under progressively challenging realistic settings, where agents must retrieve skills from a large collection of 34k real-world skills and may not have access to any hand-curated skills. Our findings reveal that the benefits of skills are fragile: performance gains degrade consistently as settings become more realistic, with pass rates approaching no-skill baselines in the most challenging scenarios. To narrow this gap, we study skill refinement strategies, including query-specific and query-agnostic approaches, and we show that query-specific refinement substantially recovers lost performance when the initial skills are of reasonable relevance and quality. We further demonstrate the generality of retrieval and refinement on Terminal-Bench 2.0, where they improve the pass rate of Claude Opus 4.6 from 57.7% to 65.5%. Our results, consistent across multiple models, highlight both the promise and the current limitations of skills for LLM-based agents. Our code is available at https://github.com/UCSB-NLP-Chang/Skill-Usage.
• Abstract（参考訳）: 再利用可能なドメイン固有の知識アーティファクトであるエージェントスキルは、LLMベースのエージェントを拡張するための一般的なメカニズムとなっている。 既存のスキルベンチマークの取り組みは過度に理想化された条件に焦点を合わせており、LLMは手作りの狭義のタスク固有のスキルを各タスクに対して直接提供しているが、現実的な多くの設定では、LLMエージェントはそれ自身で関連するスキルを検索し選択しなければならない。 本稿では,34kの現実世界のスキルの集合からエージェントがスキルを回収し,手書きのスキルにアクセスできないような,段階的に困難な現実的な状況下で,スキルユーティリティの総合的な研究を行う。 最も困難なシナリオでは、パスレートが非スキルベースラインに近づき、設定がより現実的になるにつれて、パフォーマンスは一貫して低下します。 このギャップを狭めるために,クエリ固有およびクエリ非依存のアプローチを含むスキル改善戦略について検討し,最初のスキルが合理的な妥当性と品質を持つ場合に,クエリ特化による性能低下が著しく回復することを示す。 さらに、ターミナルベンチ2.0における検索と改善の一般性を示し、Claude Opus 4.6のパスレートを57.7%から65.5%に改善した。 複数のモデルで一貫した私たちの結果は、LLMベースのエージェントの約束と現在のスキルの限界の両方を強調します。 私たちのコードはhttps://github.com/UCSB-NLP-Chang/Skill-Usage.comで利用可能です。

関連論文リスト

• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• EvoSkill: Automated Skill Discovery for Multi-Agent Systems [6.319876096746374]
  エージェントスキルを自動的に発見・洗練する自己進化型フレームワークである textbfEvoSkill を紹介する。 EvoSkillは実行障害を分析し、新しいスキルや既存のスキルへの編集を提案し、それらを構造化された再利用可能なスキルフォルダに実体化する。 われわれはEvoSkillを米国財務データの根拠となる推論ベンチマークであるOfficeQAと、ノイズの多い検索ベンチマークであるSealQAの2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-03T09:07:22Z)
• SkillCraft: Can LLM Agents Learn to Use Tools Skillfully? [67.69996753743129]
  SkillCraftは、高レベルのツールコンポジションの生成と再利用を可能にする、明示的にストレステストエージェントのベンチマークである。 SkillCraftは、定量次元と構造次元の両方に沿ってスケールする困難を伴う、現実的で、構成性の高いツール使用シナリオを特徴としている。 本稿では,エージェントがアトミックツールを実行可能なスキルに自動生成し,タスク内およびタスク間のキャッシュと再利用を可能にする軽量な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-28T15:44:31Z)
• Reinforcement Learning for Self-Improving Agent with Skill Library [14.717149089634718]
  大規模言語モデル(LLM)に基づくエージェントは、複雑な推論とマルチターン相互作用において顕著な機能を示した。 有望なアプローチの1つは、エージェントが新しいスキルを学び、検証し、適用できるスキルライブラリを実装することである。 スキルライブラリによるエージェントの自己改善能力を高めるための強化学習(RL)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2025-12-18T21:58:19Z)
• Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)による複雑な問題を解決する重要な方法となっている。 本稿では,LLMタスクを能力,スキル,知識の観点から再考する理論モデルであるRe-TASKフレームワークを紹介する。 多様な領域にわたる実験は、Re-TASKの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-13T13:58:23Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics [18.546688182454236]
  スキルベース強化学習(RL)は、ロボット学習の加速に先行知識を活用するための有望な戦略として登場した。 本研究では,状態条件付き生成モデルを用いて,スキル空間における探索を高速化する手法を提案する。 我々は4つの困難な操作タスクにまたがってアプローチを検証する。
  論文  参考訳（メタデータ） (2022-11-04T02:42:17Z)
• Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction [19.43668931500507]
  本稿では,リテラルマッチングによる遠隔監視に基づく,スキル抽出のためのエンドツーエンドシステムを提案する。 ESCO分類を用いて、関連するスキルからネガティブな例を選択することで、最大の改善が得られます。 我々は,タスクのさらなる研究を促進するために,研究目的のベンチマークデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-09-13T13:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。