論文の概要: When Does a Skill Add Value? Task-Conditional Gain Prediction for Selective Skill Use

• arxiv url: http://arxiv.org/abs/2609.32274v1
• Date: Sat, 26 Sep 2026 06:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:13:33.685093
• Title: When Does a Skill Add Value? Task-Conditional Gain Prediction for Selective Skill Use
• Title（参考訳）: スキルはいつ付加価値になるか : 選択的スキル利用のためのタスク・コンディショナルゲイン予測
• Abstract要約: SkillDeltaは、同じエージェントのペア実行によるタスク条件スキルのゲインを、スキルなしで予測するためのフレームワークである。 ローカル予測器は、エージェントを再訓練することなく、これらの歴史的利益を新しいタスクに転送する。 一致したスキル使用率では、SkillDeltaは15設定すべてでランダムなアクティベーションよりも成功し、平均4.3%の絶対的なゲインとなる。
• 参考スコア（独自算出の注目度）: 17.223944060637535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent skills are expected to improve task performance. Yet we find that they often provide no benefit, and can even hurt performance while incurring additional token costs. Can we predict whether a skill will help before the agent acts? We introduce SkillDelta, a framework for predicting task-conditional skill gains from paired executions of the same agent with and without the skill. A local predictor transfers these historical gains to new tasks without retraining the agent. Under explicit transfer assumptions, our analysis links support coverage, representation mismatch, and execution noise to prediction error and decision regret. Across five benchmarks and three target agents, paired history improves observed-gain ranking over skill-assisted outcomes alone in 12 of 15 settings. At matched expected skill-use rates, SkillDelta improves success over random activation in all 15 settings, with an average absolute gain of 4.3%. Most of this advantage comes from allocation across task groups. Evidence for additional within-group selection value is strongest on ToolQA and weaker elsewhere. Code is available at https://github.com/TankTechnology/skilldelta.
• Abstract（参考訳）: エージェントスキルはタスクパフォーマンスを改善することが期待される。 しかし、彼らはしばしば利益を提供しておらず、追加のトークンコストを発生させながらパフォーマンスを損なうことさえあることに気付きました。 エージェントが行動する前に、スキルが役立つかどうかを予測できますか? SkillDeltaは,同一エージェントのペア実行によるタスク条件スキルゲインの予測を行うフレームワークである。 ローカル予測器は、エージェントを再訓練することなく、これらの歴史的利益を新しいタスクに転送する。 明示的な転送仮定の下では, 予測誤りや決定後悔に対して, サポートカバレッジ, 表現ミスマッチ, 実行ノイズをリンクする。 5つのベンチマークと3つのターゲットエージェントにまたがって、ペア化された履歴は、15のセッティングのうち12つで、スキルアシストされた結果よりも、観察されたゲインランキングを改善している。 一致したスキル使用率では、SkillDeltaは15設定すべてでランダムなアクティベーションよりも成功し、平均4.3%の絶対的なゲインとなる。 このアドバンテージのほとんどは、タスクグループ間のアロケーションによるものです。 グループ内選択値の追加の証拠は、ToolQAで最強であり、他の場所ではより弱い。 コードはhttps://github.com/TankTechnology/skilldelta.comで入手できる。

関連論文リスト

• Signal or Noise? A Benchmark Study of Agent Skills in Web Development [6.7220476997481375]
  私たちはWebDev-Skills-Benchを使って、50のWeb-Benchプロジェクトで31の公開WebDevスキルと1000のタスクを研究しています。 4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らして4.2%減らし、タスク完了の深さを低くし、トークンコストを72%減らして394%減らす。 損失は簡単な初期タスクに集中し、スキルランキングはモデル間で弱い転送をし、アンチパターンルールは有用なスキルの中でサンプル重いコンテンツより優れています。
  論文  参考訳（メタデータ） (2026-08-24T10:13:07Z)
• Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
  専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。 本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
  論文  参考訳（メタデータ） (2026-08-18T09:52:48Z)
• Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
  ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。 スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。 本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
  論文  参考訳（メタデータ） (2026-08-05T17:57:16Z)
• Agent Skills Matter: Inferring Proprietary Skills from Execution Trajectories [28.506562107355652]
  本稿では,エージェント動作におけるスキルシグネチャの繰り返しを利用するフレームワークであるSigLeakを紹介する。 多様な、意思決定に富んだ診断タスクを構築し、スキル対応とスキル障害のトラジェクトリとを対比し、分離されたパターンから再構築されたスキルを反復的に洗練する。 平均的なスキル障害参照よりも成功率を6.88ポイント引き上げ、総合スキルシムを達成している。
  論文  参考訳（メタデータ） (2026-07-28T10:40:59Z)
• SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
  現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。 我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。 本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
  論文  参考訳（メタデータ） (2026-06-10T01:11:50Z)
• Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
  SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。 SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
  論文  参考訳（メタデータ） (2026-05-12T02:11:54Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。