論文の概要: Repo2Skill-Evo: Repository Skills Go Stale in Silence
- arxiv url: http://arxiv.org/abs/2608.21964v1
- Date: Sat, 22 Aug 2026 14:07:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.5439
- Title: Repo2Skill-Evo: Repository Skills Go Stale in Silence
- Title（参考訳）: Repo2Skill-Evo: Repository Skills Go Stale in Silence
- Abstract要約: 大規模言語モデル(LLM)エージェントは、進化するソフトウェアリポジトリ上でますます運用される。
以前の研究は、エージェントのパフォーマンスを向上できることを示している。
この外部知識をエージェントが保持できるかどうかを調査する。
- 参考スコア（独自算出の注目度）: 35.22867798999821
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents increasingly operate over evolving software repositories, where success depends on repository-specific procedural knowledge: which APIs to call, which scripts to run, and which conventions the current release expects. Agent skills externalize this knowledge into reusable units, and prior work shows that they can improve agent performance. What remains unclear is whether that improvement is durable. The same version specificity that makes a skill useful also makes it fragile: after a release, it may become stale without raising any explicit signal, while continuing to provide obsolete guidance. Externalizing knowledge into a skill can therefore make its decay invisible. We study whether agents can keep this externalized knowledge current. Repo2Skill-Evo casts each release transition as a skill-maintenance task: given a V1 skill set and the official V1-to-V2 patch, an agent must update obsolete skill content while preserving guidance that remains valid. Across 57 real-world repositories and 105 selected release transitions, every evaluated transition invalidates part of the V1 skill set. Yet six frontier agents reach only 29.9%-69.7% avg@3 macro F1 under a patch-grounded removal metric that balances stale-content recall against over-editing precision. Across runs, two opposing errors dominate: incomplete coverage of affected files in the skill set leaves stale content untouched, while overbroad editing is associated with higher recall but lower precision. Repository skills go stale in silence, and even frontier agents cannot reliably maintain them.
- Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、リポジトリ固有の手続き的知識(どのAPIを呼び出すか、どのスクリプトを実行するか、現在のリリースが期待する規約)に依存して、進化するソフトウェアリポジトリに対して運用されるようになっている。
エージェントスキルは、この知識を再利用可能なユニットに外部化する。
その改善が持続可能かどうか、まだ不明だ。
スキルを有用なものにするのと同じバージョン特異性も脆弱である。リリース後、明示的なシグナルを起こさずに、陳腐化した状態になる可能性がある一方で、古いガイダンスを提供し続ける。
知識をスキルに外部化することは、その崩壊を目に見えないものにする。
この外部知識をエージェントが保持できるかどうかを調査する。
Repo2Skill-Evoは、各リリース移行をスキル維持タスクとしてキャストする: V1スキルセットと公式のV1-to-V2パッチが与えられた場合、エージェントは、有効なガイダンスを保持しながら、古いスキルコンテンツを更新する必要がある。
57の現実世界リポジトリと105の選択されたリリーストランジションを通じて、評価されたトランジションは、V1スキルセットの一部が無効になる。
しかし、6つのフロンティアエージェントはパッチ接地除去基準の下で29.9%-69.7%のavg@3マクロF1にしか達していない。
スキルセット内の影響のあるファイルの不完全なカバレッジは、古いコンテンツを未修正のまま残し、オーバーブロード編集は、より高いリコールと低い精度で関連付けられている。
リポジトリのスキルは静かであり、フロンティアのエージェントでさえそれらを確実に維持することはできない。
関連論文リスト
- Who Maintains Agent Skills? A Longitudinal Study of Human-Governed, AI-Assisted Skill Maintenance [10.648969524722448]
最近の研究は、スキルキュレーションの自動化を目指しているが、自動化されたベースラインに対して大きく評価され、人間のメンテナンスは未測定のボトルネックとして扱われる。
2025年10月から2026年6月までの873のコミット、143のスキルファイル、254の実質的なポストクリエーション編集を含む、5つの公開AIスキルレポジトリ、AIツーリング組織のサンプルの完全なコミット履歴を掘り下げました。
まず、すべての実体的編集は、名前のついたヒューマンアカウントを通じて作成またはマージされ、62%は、大きなリポジトリレベルのバリエーションを持つAI共著者トレーラーを担っている。
論文 参考訳（メタデータ） (2026-09-04T19:18:18Z) - Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills [86.15447717549154]
私たちは、スキルを創造し、研究中にそれらを使用する、スキル駆動型研究エージェントであるDisCoを紹介します。
私たちはこの欠落したレイヤの運用知識を、メソッドの知識を機能させるのと分離するノウハウと呼んでいる。
論文 参考訳（メタデータ） (2026-09-02T15:49:41Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents [27.965275812765015]
Anything2Skillは、異種外部の知識を再利用可能な、検索可能な、エージェントの実行可能なスキルにコンパイルする分類誘導フレームワークである。
我々は、Anything2SkillとRAGを組み合わせることで、それぞれ98.85%と94.10%の成功率が得られることを示した。
論文 参考訳（メタデータ） (2026-06-08T10:24:32Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳（メタデータ） (2026-05-29T12:59:08Z) - SkillsVote: Lifecycle Governance of Agent Skills from Collection, Recommendation to Evolution [29.961197505726528]
本稿では,エージェントスキルのためのライフサイクル管理フレームワークであるSkillsVoteを紹介する。
SkillsVoteは、環境要件、品質、妥当性に関する100万規模のオープンソースコーパスをプロファイルしている。
トラジェクトリをスキルリンクされたサブタスクに分解し、スキル使用、エージェント探索、環境、結果信号に結果をもたらし、エビデンス付き更新に再利用可能な発見のみを認める。
論文 参考訳（メタデータ） (2026-05-18T13:44:19Z) - SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。
SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。
実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2026-05-12T12:21:49Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。