論文の概要: What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files
- arxiv url: http://arxiv.org/abs/2608.08453v1
- Date: Sun, 09 Aug 2026 03:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.834018
- Title: What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files
- Title（参考訳）: 138K SKILL.mdファイルから、エージェントのスキルが再利用されるのを防ぐものは何か?
- Abstract要約: 多くの公開SKILL.mdファイルは単一のタスク、リポジトリ、会話に由来する。
20,556リポジトリから138,133の公開SKILL.mdファイル間でのこのギャップを分析する。
91.8%のスキルには少なくとも1つの検出された欠陥が含まれており、厳密な閾値と厳密な閾値で安定した見積もりがある。
- 参考スコア（独自算出の注目度）: 12.451393173022346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Under the current standard, Agent Skills are SKILL.md files that combine instructions with supporting resources, enabling Large Language Model (LLM) agents to reuse procedures beyond a single conversation. Yet many public skills appear to originate from a single task, repository, or conversation, even when they are shared as reusable components. We analyze this gap across 138,133 public SKILL.md files from 20,556 repositories using a two-tier defect taxonomy grounded in the official specification and best-practice guidance. We find that 91.8% of skills contain at least one detected defect, with stable estimates across lenient and strict thresholds (88.8-94.6%). The dominant failures are ordinary packaging problems rather than exotic attacks: weak routing metadata, bloated or non-actionable bodies, and poor resource organization. A deterministic routing stress test over 20,000 skills shows the functional impact: skills with valid routing metadata are retrieved more reliably from startup descriptions than skills with routing defects. Defect rates vary by platform and provenance: specification-aware skills contain fewer defects, while AI-marked skills show more safety and portability problems. Lightweight enforcement and repair experiments support a quality-assured generation workflow combining spec-aware prompting, lightweight linting, automated repair, and safety gating.
- Abstract（参考訳）: 現在の標準では、エージェントスキルはSKILL.mdファイルであり、命令とサポートリソースを組み合わせることで、大きな言語モデル(LLM)エージェントが単一の会話以上の手続きを再利用できるようにする。
しかし、多くの公開スキルは、再利用可能なコンポーネントとして共有されている場合でも、単一のタスク、リポジトリ、会話に由来するように見える。
我々は、公式仕様とベストプラクティスガイダンスに基づいて、20,556のリポジトリから138,133の公開SKILL.mdファイルにまたがるこのギャップを分析した。
91.8%のスキルには少なくとも1つの検出された欠陥が含まれており、信頼度と厳密な閾値(88.8-94.6%)にわたって安定した見積もりがある。
主な失敗は、エキゾチックな攻撃ではなく、一般的なパッケージングの問題である。
20,000以上のスキルに対する決定論的ルーティングストレステストは、機能的な影響を示している。有効なルーティングメタデータを持つスキルは、ルーティング欠陥を持つスキルよりも、スタートアップの説明からより確実に検索される。
欠陥率はプラットフォームや証明によって異なる。仕様認識スキルには欠陥が少ないが、AIマークされたスキルは安全性と移植性に問題がある。
軽量化と修復実験は、仕様認識のプロンプト、軽量なライティング、自動修理、安全ゲーティングを組み合わせた品質保証された生成ワークフローをサポートする。
関連論文リスト
- Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。
サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。
脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
論文 参考訳（メタデータ） (2026-09-14T17:44:51Z) - Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills [9.077159743623076]
実行可能なエージェントアーティファクトとして、スキルと製品機能パッケージを評価するための、リポジトリネイティブフレームワーク。
ACESは、ターゲットスキルとなしのペアライブトライアルを実行し、6つのデフォルトランタイムメトリクスをグレードし、Skill Liftをレポートする。
この方法論のオープンソース実装はNVIDIA SkillEvaluatorで利用可能だ。
論文 参考訳（メタデータ） (2026-08-20T23:26:14Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills [15.716453891551057]
本稿では,スキルファイルの論理的関係を解析するフレームワークであるSkillLogicを紹介する。
SkillLogicを使うことで、5000以上の公開スキルをスキャンし、70%が少なくとも1つの論理的関係を持つことがわかった。
次に、高信頼、高インパクト、局所的なテスト可能な関係から86ケースのベンチマークであるSLBenchを構築する。
論文 参考訳（メタデータ） (2026-07-10T00:48:30Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents [58.87681796862133]
我々は経済的なレンズを通してスキルの書き直しを勉強する。
我々のフレームワークは、情報保存戦略を用いて、スキル構造をプロファイルし、スキルを書き換える。
SkillsBenchの実験は、戦略間の異なる品質とコストのトレードオフを明らかにしている。
論文 参考訳（メタデータ） (2026-06-08T12:36:51Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳（メタデータ） (2026-05-29T12:59:08Z) - ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。
最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。
ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-05-17T13:48:25Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z) - SkillRouter: Skill Routing for LLM Agents at Scale [18.540967600258607]
ユーザタスクが与えられたら、システムは、下流の計画や実行の前に、関連するスキルを特定する必要がある。
既存のエージェントスタックはプログレッシブな開示に依存しており、完全な実装ボディを隠蔽しながら、スキル名と記述のみを公開する。
1.2Bのコンパクトなフルテキスト検索/参照パイプラインであるSkillを提示する。
論文 参考訳（メタデータ） (2026-03-23T18:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。