論文の概要: Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale
- arxiv url: http://arxiv.org/abs/2610.18522v1
- Date: Tue, 13 Oct 2026 15:12:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.651062
- Title: Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale
- Title（参考訳）: インプシシトルーティングの損失:LLMエージェントがスケールで関連スキルをロードできない方法
- Abstract要約: スキルにより、エージェントは要求に応じてタスク固有の命令をロードできるが、スキルメタデータに対する暗黙のルーティングに依存する。
この設計がSkillsBenchタスクとそれらの黄金のスキルを保持しながら、無関係なスキルを加えてスケールするかどうかを検証する。
スキルのルーティングは崩壊している: 関連スキルが引き続き利用可能であっても、エージェントがますます少ないか、まったくスキルをロードするようになる。
- 参考スコア（独自算出の注目度）: 7.1709130026195895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reusable skills let LLM agents load task-specific instructions on demand, but they make execution depend on implicit routing over skill metadata. We test whether this design scales by holding SkillsBench tasks and their golden skills fixed while adding irrelevant skills. We find skill routing collapse: agents increasingly load fewer or no skills, even though the relevant skills remain available. With 1,000 irrelevant skills, loaded-skill recall falls from 73.6% to 27.4% and the zero-load rate rises from 9.3% to 51.6%, whereas explicit selection from the same library retains 73.9% recall. Loading other skills, including plausible alternatives to golden skills, is too rare to explain this decline. Masking only the descriptions of irrelevant skills largely restores skill loading, yet with the metadata intact, explicitly asking agents to plan skill use still yields lower recall than preselection. These findings point to semantic interference from descriptions and instruction interference when skill choice competes with task execution. We also evaluate explicit preselection as a practical mitigation, including its coverage and latency trade-offs. Our analysis informs skill protocols and evaluation for agents with growing skill libraries.
- Abstract（参考訳）: 再利用可能なスキルにより、LLMエージェントは要求に応じてタスク固有の命令をロードできるが、実行はスキルメタデータの暗黙的なルーティングに依存する。
この設計がSkillsBenchタスクとそれらの黄金のスキルを保持しながら、無関係なスキルを加えてスケールするかどうかを検証する。
スキルのルーティングは崩壊している: 関連スキルが引き続き利用可能であっても、エージェントがますます少ないか、まったくスキルをロードするようになる。
1000の非関連スキルを持つロードスキルリコールは73.6%から27.4%に減少し、ゼロロードレートは9.3%から51.6%に上昇する一方、同じ図書館からの明示的な選択は73.9%のリコールを維持している。
黄金のスキルに代わる、もっともらしい代替品を含む他のスキルをロードすることは、この減少を説明するにはめったにない。
無関係なスキルの記述のみをマスキングすることは、主にスキルローディングを復元するが、メタデータはそのままであり、明示的にエージェントにスキル使用を計画するよう求めると、プリセレクションよりもリコール率が低い。
これらの知見は、スキル選択がタスク実行と競合する場合、記述からの意味的干渉と命令的干渉を指し示す。
我々はまた、明示的な事前選択を、そのカバレッジと遅延トレードオフを含む実践的な緩和として評価する。
本分析は,スキル・ライブラリを成長させたエージェントに対して,スキル・プロトコルと評価を行う。
関連論文リスト
- Skill-V: Verifiable Self-Evolving Skill Library for Interactive Agents [52.62594580060118]
検証可能な自己進化型スキルライブラリであるSkill-Vを紹介する。
我々は,図書館の進化を促進するために環境成果を用いており,特に,タスク失敗はスキル追加を動機付けている。
我々は、現在のタスクに確実に適用できないと判断された候補を除外するために、適用性に配慮したフィルタを用いる。
論文 参考訳（メタデータ） (2026-10-08T11:59:42Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - Agent Skills Matter: Inferring Proprietary Skills from Execution Trajectories [28.506562107355652]
本稿では,エージェント動作におけるスキルシグネチャの繰り返しを利用するフレームワークであるSigLeakを紹介する。
多様な、意思決定に富んだ診断タスクを構築し、スキル対応とスキル障害のトラジェクトリとを対比し、分離されたパターンから再構築されたスキルを反復的に洗練する。
平均的なスキル障害参照よりも成功率を6.88ポイント引き上げ、総合スキルシムを達成している。
論文 参考訳（メタデータ） (2026-07-28T10:40:59Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳（メタデータ） (2026-06-01T17:45:39Z) - SkillsInjector: Dynamic Skill Context Construction for LLM Agents [16.631471381875816]
既存の方法では、静的なステップとしてスキルインジェクションを扱い、一定の基準でスキルを選択し、事前に予算を固定し、説明をそのまま残します。
本稿では,これらの決定に共同で対処する2段階適応手法であるSkillsInjectorを提案する。
Tau2-bench、SkillsBench、ALFWorldで、SkillsInjectorは最強のベースラインを3.9点、6.1点、7.3ポイント改善した。
論文 参考訳（メタデータ） (2026-05-28T11:44:32Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z) - SkillRouter: Skill Routing for LLM Agents at Scale [18.540967600258607]
ユーザタスクが与えられたら、システムは、下流の計画や実行の前に、関連するスキルを特定する必要がある。
既存のエージェントスタックはプログレッシブな開示に依存しており、完全な実装ボディを隠蔽しながら、スキル名と記述のみを公開する。
1.2Bのコンパクトなフルテキスト検索/参照パイプラインであるSkillを提示する。
論文 参考訳（メタデータ） (2026-03-23T18:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。