論文の概要: Signal or Noise? A Benchmark Study of Agent Skills in Web Development
- arxiv url: http://arxiv.org/abs/2608.23067v1
- Date: Mon, 24 Aug 2026 10:13:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.019816
- Title: Signal or Noise? A Benchmark Study of Agent Skills in Web Development
- Title（参考訳）: 信号か雑音か? Web 開発におけるエージェントスキルのベンチマーク研究
- Abstract要約: 私たちはWebDev-Skills-Benchを使って、50のWeb-Benchプロジェクトで31の公開WebDevスキルと1000のタスクを研究しています。
4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らして4.2%減らし、タスク完了の深さを低くし、トークンコストを72%減らして394%減らす。
損失は簡単な初期タスクに集中し、スキルランキングはモデル間で弱い転送をし、アンチパターンルールは有用なスキルの中でサンプル重いコンテンツより優れています。
- 参考スコア（独自算出の注目度）: 6.7220476997481375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent Skills are reusable procedural modules that are increasingly injected into coding-agent sessions to encode framework conventions, anti-patterns, and reusable tools. However, because each injected Skill expands the prompt of every query, an effective Skill benchmark must determine not only whether an agent can solve a task, but whether the Skill should have been injected at all. We introduce WebDev-Skills-Bench and use it for a controlled empirical study of 31 public WebDev Skills on 50 Web-Bench projects and 1,000 ordered tasks. The benchmark compares four matched conditions, including a length-matched irrelevant control and leave-one-out component ablations. To isolate Skill effects from prompt-length artifacts, we place only SKILL.md in the prompt while mounting auxiliary files into the agent workspace. Across four models, target Skill injection reduces mean Pass@2 by 1.3% to 4.2%, lowers task completion depth, and increases token cost by 72% to 394%, with gains in only 17% to 36% of Skill-project pairs. Length-matched controls reveal two failure modes: some models are length-distracted, where an equally long irrelevant Skill reproduces most of the loss, while others are content-misled, where prompt length is neutral but Skill content still lowers Pass@2 by 1.1% to 1.4%. Further analysis shows that losses concentrate on easy early tasks, Skill rankings transfer weakly across models, and anti-pattern rules outperform example-heavy content within helpful Skills. These findings recast a matched Skill as a hypothesis about a particular Skill-project-model triple rather than a portable asset, reframing injection as a per-deployment routing decision and making length-matched controls and per-model audits a minimum standard for Agent-Skill evaluation.
- Abstract（参考訳）: Agent Skillsは、フレームワークの規約、アンチパターン、再利用可能なツールをエンコードするために、コーディングエージェントセッションに徐々に注入される再利用可能な手続きモジュールである。
しかしながら、各インジェクトされたSkillは全てのクエリのプロンプトを拡張するため、有効なSkillベンチマークは、エージェントがタスクを解決できるかどうかだけでなく、全くインジェクトされるべきであったかどうかを判断する必要がある。
我々は、WebDev-Skills-Benchを紹介し、50のWeb-Benchプロジェクトと1000の注文されたタスクについて、31の公開WebDevスキルを制御した実証的研究に使用します。
このベンチマークは、4つのマッチした条件を比較する。
プロンプト長のアーティファクトからスキル効果を分離するために、エージェントワークスペースに補助ファイルを設置しながら、プロンプトにのみSKILL.mdを配置する。
4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らし4.2%減らし、タスク完了深度を下げ、トークンコストを72%減らして394%増し、スキルプロジェクトペアの17%から36%の利得しか得られない。
長さ調整されたコントロールには2つの障害モードがある: あるモデルは長さ抽出され、同じ長さの非関連なSkillは損失のほとんどを再現するが、他のものはコンテンツミスされ、即時長は中立だが、Skillコンテンツは依然としてPass@2を1.1%から1.4%に下げる。
さらなる分析によると、損失は簡単な早期タスクに集中し、スキルランキングはモデル間で弱く伝達され、アンチパターンルールは有用なスキルの中でサンプル重大コンテンツより優れている。
これらの結果は, 適合したスキルを, 携帯資産ではなく, 特定のスキル・プロジェクト・モデル・トリプルに関する仮説として再評価し, インジェクションをデプロイメントごとのルーティング決定として再検討し, 長さマッチング制御とモデルごとの監査をエージェント・スキル評価の最低基準とした。
関連論文リスト
- Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。
スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。
本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
論文 参考訳（メタデータ） (2026-08-05T17:57:16Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillSmith: Compiling Agent Skills into Boundary-Guided Runtime Interfaces [6.384302247811717]
既存のフレームワークでは、一度ランタイムタスクにマッチしたコンテキストガイダンスとして、通常、スキルがエージェント推論ループに注入されます。
この実行パラダイムは、無関係なコンテキスト注入と、スキル固有の推論と計画の2つの主要な冗長性源を導入している。
我々は,スキルパッケージをオフラインで最小限の実行可能なインターフェースにコンパイルする,境界優先のコンパイラランタイムフレームワークであるSkillSmithを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:25:25Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - SkillRouter: Skill Routing for LLM Agents at Scale [18.540967600258607]
ユーザタスクが与えられたら、システムは、下流の計画や実行の前に、関連するスキルを特定する必要がある。
既存のエージェントスタックはプログレッシブな開示に依存しており、完全な実装ボディを隠蔽しながら、スキル名と記述のみを公開する。
1.2Bのコンパクトなフルテキスト検索/参照パイプラインであるSkillを提示する。
論文 参考訳（メタデータ） (2026-03-23T18:23:59Z) - SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering? [27.583012125198568]
SWE-Skills-Benchは、現実のソフトウェア工学におけるエージェントスキルの限界効用を分離する最初の要件駆動ベンチマークである。
49の公開SWEスキルと、特定のコミットにピン留めされた本物のGitHubリポジトリと、明確な受け入れ基準を持つ要件ドキュメントをペアリングする。
以上の結果から,スキルインジェクションのメリットは,迅速な採用よりもはるかに限定的であることが示唆された。
論文 参考訳（メタデータ） (2026-03-16T15:16:31Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z) - Camouflage is all you need: Evaluating and Enhancing Language Model
Robustness Against Camouflage Adversarial Attacks [53.87300498478744]
自然言語処理(NLP)における敵攻撃の意義
本研究は、脆弱性評価とレジリエンス向上という2つの異なる段階において、この課題を体系的に探求する。
結果として、パフォーマンスとロバスト性の間のトレードオフが示唆され、いくつかのモデルは、ロバスト性を確保しながら、同様のパフォーマンスを維持している。
論文 参考訳（メタデータ） (2024-02-15T10:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。