論文の概要: Skill Drift Is Contract Violation: Proactive Maintenance for LLM Agent Skill Libraries
- arxiv url: http://arxiv.org/abs/2605.10990v1
- Date: Sat, 09 May 2026 11:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.282147
- Title: Skill Drift Is Contract Violation: Proactive Maintenance for LLM Agent Skill Libraries
- Title（参考訳）: スキルドリフトは契約違反: LLMエージェントスキルライブラリのプロアクティブメンテナンス
- Abstract要約: LLMエージェントは、再利用可能なスキルライブラリにますます依存しているが、これらのスキルは、外部サービス、パッケージ、APIが進化するにつれて静かに崩壊する。
契約違反としてスキルドリフトを定式化し、スキル文書から実行可能な環境契約を抽出するsgnameを導入する。
sgnameは、599のドリフトとハードネガティブなケースに対してゼロの偽のアラームを発生させる。
- 参考スコア（独自算出の注目度）: 14.848157882117613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly rely on reusable skill libraries, but these skills silently decay as the external services, packages, APIs, and configurations they reference evolve. Existing monitors detect such changes at the wrong granularity: they observe values, not the role those values play in a skill. A version string in a comment is noise; the same string in a pinned dependency is an operational obligation. We formulate skill drift as contract violation and introduce \sgname{}, which extracts executable environment contracts from skill documents and validates only those role-bearing assumptions against known or live conditions. This distinction turns noisy monitoring into a precision-first maintenance signal. Contract-free CI probes produce 40\% false positives, while \sgname{} raises zero false alarms over 599 no-drift and hard-negative cases (Wilson 95\% CI $[0,0.6]\%$). In known-drift verification, \sgname{} achieves 100\% precision and 76\% recall with the strongest backbone; in a pre-registered study over 49 real skills, it discovers live drift with 86\% conservative precision. Violated contracts also make repair actionable, improving one-round success from 10\% without localization to 78\%. We release \dbname{}, an 880-pair benchmark for skill degradation.
- Abstract（参考訳）: LLMエージェントは、再利用可能なスキルライブラリにますます依存しているが、これらのスキルは、それらが参照する外部サービス、パッケージ、API、設定が進化するにつれて、静かに崩壊する。
既存のモニターは、そのような変化を間違った粒度で検出する。
コメント中のバージョン文字列はノイズであり、ピン付き依存関係にある同じ文字列は運用上の義務である。
我々は,スキルドリフトを契約違反として定式化し,スキル文書から実行可能な環境契約を抽出し,その役割を持つ前提を既知の条件や生活条件に対してのみ検証する \sgname{} を導入する。
この区別は、ノイズの多いモニタリングを精度第一のメンテナンス信号に変える。
契約なしCIプローブは40\%の偽陽性を生成するが、 \sgname{} は 599 のドリフトとハード負のケースに対してゼロの偽アラームを発生させる(Wilson 95\% CI $[0,0.6]\%$)。
既知のドリフト検証では、 \sgname{} は100 %の精度と76 %のリコールを最強のバックボーンで達成し、49 以上の実技について事前登録された研究では、86 %の保守的精度でライブドリフトを発見する。
違反した契約は修復も可能で、ローカライゼーションなしで1ラウンドの成功率を10 %から78 %に改善する。
スキル劣化のための880ペアのベンチマークである \dbname{} をリリースします。
関連論文リスト
- When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - Repo2Skill-Evo: Repository Skills Go Stale in Silence [35.22867798999821]
大規模言語モデル(LLM)エージェントは、進化するソフトウェアリポジトリ上でますます運用される。
以前の研究は、エージェントのパフォーマンスを向上できることを示している。
この外部知識をエージェントが保持できるかどうかを調査する。
論文 参考訳（メタデータ） (2026-08-22T14:07:51Z) - Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills [9.077159743623076]
実行可能なエージェントアーティファクトとして、スキルと製品機能パッケージを評価するための、リポジトリネイティブフレームワーク。
ACESは、ターゲットスキルとなしのペアライブトライアルを実行し、6つのデフォルトランタイムメトリクスをグレードし、Skill Liftをレポートする。
この方法論のオープンソース実装はNVIDIA SkillEvaluatorで利用可能だ。
論文 参考訳（メタデータ） (2026-08-20T23:26:14Z) - TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation [13.298401993417611]
TRUSSは、機能的で安全性の高いエージェントスキルを生成するためのエビデンスガイド付きフレームワークである。
我々は,SkillGenBenchの168個のSkillInjectアーティファクト,155個のSkillSafetyBenchケース,および187個のタスクについてTRUSSを評価した。
スキル生成では、TRUSSはタスク効率を17.11%から52.94%に引き上げ、ベンチマークセキュリティ率は50.80%から100.00%に向上した。
論文 参考訳（メタデータ） (2026-08-18T09:52:57Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills [15.716453891551057]
本稿では,スキルファイルの論理的関係を解析するフレームワークであるSkillLogicを紹介する。
SkillLogicを使うことで、5000以上の公開スキルをスキャンし、70%が少なくとも1つの論理的関係を持つことがわかった。
次に、高信頼、高インパクト、局所的なテスト可能な関係から86ケースのベンチマークであるSLBenchを構築する。
論文 参考訳（メタデータ） (2026-07-10T00:48:30Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - EvoPoC: Automated Exploit Synthesis for DeFi Smart Contracts via Hierarchical Knowledge Graphs [11.754368842084412]
sysは、エンド・ツー・エンドの契約の脆弱性を検出し、合成を利用するための知識駆動型エージェントシステムである。
sysは88の現実世界のDeFi攻撃と72の監査プロジェクト(2,573の契約)で評価された。
sysは16の0日間の脆弱性を特定し、706万ドル以上の賞金と2,900ドルの報奨金を稼いだ。
論文 参考訳（メタデータ） (2026-05-04T17:43:52Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z) - ContractSkill: Repairable Contract-Based Skills for Multimodal Web Agents [13.2889725132666]
私たちは、ドラフトスキルをコントラクト化された実行可能なアーティファクトに変換するフレームワークであるContractSkillを紹介します。
この表現は、決定論的検証、ステップレベルのフォールトローカライゼーション、最小限のパッチベースの修復を可能にする。
論文 参考訳（メタデータ） (2026-03-20T09:25:50Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z) - One Signature, Multiple Payments: Demystifying and Detecting Signature Replay Vulnerabilities in Smart Contracts [56.94148977064169]
署名の使用状況のチェックが不足すると、繰り返し検証が行われ、許可の不正使用のリスクが増大し、契約資産が脅かされる可能性がある。
我々はこの問題をSignature Replay Vulnerability (SRV) として定義する。
37のブロックチェーンセキュリティ企業を対象とした1,419の監査報告から、詳細なSRV記述と5種類のSRVを分類した108を識別しました。
論文 参考訳（メタデータ） (2025-11-12T09:17:13Z) - Trace: Securing Smart Contract Repository Against Access Control Vulnerability [58.02691083789239]
GitHubはソースコード、ドキュメント、設定ファイルを含む多数のスマートコントラクトリポジトリをホストしている。
サードパーティの開発者は、カスタム開発中にこれらのリポジトリからコードを参照、再利用、フォークすることが多い。
スマートコントラクトの脆弱性を検出する既存のツールは、複雑なリポジトリを扱う能力に制限されている。
論文 参考訳（メタデータ） (2025-10-22T05:18:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。