論文の概要: An Empirical Study of Agent Skills' Downstream Utility
- arxiv url: http://arxiv.org/abs/2610.08875v1
- Date: Tue, 06 Oct 2026 06:05:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.521557
- Title: An Empirical Study of Agent Skills' Downstream Utility
- Title（参考訳）: エージェントスキルの下流機能に関する実証的研究
- Abstract要約: 我々は87のSkillsBenchタスクについて実証的研究を行い、同じモデルで同じタスクにおけるNo-Skillとのパスレート差として下流ユーティリティを定義する。
我々は37,596スキルのキュレートされたコーパスからマーケットプレース候補を検索する。
我々は17のオーサリングプラクティスを導き,実行可能手順をリカバリ,タスク要求の保存,最終アーティファクトの確認にリンクする。
- 参考スコア（独自算出の注目度）: 25.30517570278484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent Skills package procedural guidance and resources for reuse, but a relevant Skill does not necessarily improve task performance. Existing studies characterize Skill content and evaluate downstream performance, yet provide limited explanations of how utility depends on content, execution configuration, and multi-Skill organization. We conduct an empirical study on 87 SkillsBench tasks, defining downstream utility as the pass-rate difference from No-Skill on the same tasks under the same model--harness configuration. We compare the same Skills across nine configurations, then examine alternative published Skills and organizations of fixed Skill sets under three selected configurations. We retrieve marketplace candidates from a curated corpus of 37,596 Skills. LLM-assisted analysis of content, execution traces, and final artifacts, followed by author review, relates provided support to actual use and task outcomes. The same Skills help some configurations and hurt others on 36.78\% of tasks, with trajectories showing that recommended procedures can become an execution burden. Relevance rankings overlook more useful candidates. Within the evaluated candidate sets, reranking by support for required operations raises first-choice pass rates by 4.35--5.80 percentage points across the three configurations. We derive 17 authoring practices linking executable procedures to recovery, preservation of task requirements, and checks on final artifacts. Stage Plan and Dependency DAG outperform use order alone, with DAG's additional benefits concentrated in tasks supplied with five or six Skills. These findings guide developers to assess usable operation support, allow procedure adaptation while preserving task requirements, and make artifact dependencies explicit when organizing Skills.
- Abstract（参考訳）: Agent Skillsパッケージは、再利用のための手続き的なガイダンスとリソースを提供するが、関連するスキルは必ずしもタスクのパフォーマンスを改善するとは限らない。
既存の研究では、スキルのコンテンツを特徴付け、ダウンストリームのパフォーマンスを評価する一方で、ユーティリティがコンテンツ、実行構成、マルチスキル組織にどのように依存するかを限定的に説明しています。
我々は87のSkillsBenchタスクについて実証的研究を行い、同じモデルで同じタスクにおけるNo-Skillとのパスレート差として下流ユーティリティを定義する。
同じスキルを9つの構成で比較し、選択した3つの構成の下で、別の公開されたスキルと固定されたスキルセットの組織を調べます。
我々は37,596スキルのキュレートされたコーパスからマーケットプレース候補を検索する。
LLMによるコンテンツ、実行トレース、最終アーティファクトの分析、および著者レビューは、実際の使用とタスク結果に対するサポートを提供する。
同じスキルはいくつかの設定を助け、36.78 %のタスクで他のタスクを傷つける。
関連性ランキングは、より有用な候補を見落としている。
評価された候補セットの中で、必要な操作のサポートによってランク付けされると、3つの構成で第1選択のパスレートが4.35～5.80ポイント上昇する。
我々は17のオーサリングプラクティスを導出し、実行可能手順をリカバリ、タスク要求の保存、最終アーティファクトのチェックにリンクする。
ステージプランと依存性DAGは、DAGのさらなる利点は5、6つのスキルを備えたタスクに集中している。
これらの発見は、開発者が使用可能な操作サポートを評価し、タスク要件を維持しながらプロシージャ適応を許可し、スキルを編成する際のアーティファクト依存関係を明確にすることを促す。
関連論文リスト
- SkillSandbox: Skill Verification via Dynamic Scenario Synthesis [19.59280350757542]
自己進化型エージェントは、経験を将来の再利用のためのスキルに蒸留するが、これらのスキルは誤った手順や非伝達可能な知識を符号化することができる。
したがって、それぞれのスキルの再利用性を検証することが重要であり、そのガイダンスが蒸留された経験を超えて有用であるかどうかである。
SkillSandboxは,スキル関連の新しいスキルごとに動的にタスクとその環境を合成するフレームワークである。
論文 参考訳（メタデータ） (2026-10-07T13:48:58Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time [14.34844805305673]
汎用スキルは、言語エージェントのための再利用可能な手続き的知識を約束する。
しかし、セマンティックな関連性は実行ユーティリティを保証しません。
トレーニング不要な実行時スキル適応フレームワークであるSkillAlignerを提案する。
論文 参考訳（メタデータ） (2026-08-07T07:05:53Z) - Generative Skill Composition for LLM Agents [58.47191648555256]
LLMエージェントは複雑なタスクを解決するためのスキルの恩恵を受ける。
スキルライブラリが成長するにつれて、適切なスキル構成を選択することが中心的なボトルネックとして現れている。
本稿では,タスク条件付きスキルシーケンス予測として構造化されたスキルコンポジションをインスタンス化するSkillComposerを提案する。
論文 参考訳（メタデータ） (2026-06-30T17:53:09Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳（メタデータ） (2026-06-04T12:16:08Z) - SkillsInjector: Dynamic Skill Context Construction for LLM Agents [16.631471381875816]
既存の方法では、静的なステップとしてスキルインジェクションを扱い、一定の基準でスキルを選択し、事前に予算を固定し、説明をそのまま残します。
本稿では,これらの決定に共同で対処する2段階適応手法であるSkillsInjectorを提案する。
Tau2-bench、SkillsBench、ALFWorldで、SkillsInjectorは最強のベースラインを3.9点、6.1点、7.3ポイント改善した。
論文 参考訳（メタデータ） (2026-05-28T11:44:32Z) - SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。
SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。
実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2026-05-12T12:21:49Z) - SkillRAE: Agent Skill-Based Context Compilation for Retrieval-Augmented Execution [10.83969404435554]
大きな言語モデル(LLM)ベースのエージェントは、アーティファクトリッチなタスクを解決するために、再利用可能なスキルライブラリに依存している。
本稿では,スキルベースのコンテキストコンパイルに着目した2段階RAE手法であるSkillRAEを提案する。
2つの公開ベンチマークの実験によると、SkillRAEはRAEのベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-05-11T07:31:48Z) - Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)による複雑な問題を解決する重要な方法となっている。
本稿では,LLMタスクを能力,スキル,知識の観点から再考する理論モデルであるRe-TASKフレームワークを紹介する。
多様な領域にわたる実験は、Re-TASKの有効性を示す。
論文 参考訳（メタデータ） (2024-08-13T13:58:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。