論文の概要: Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement

• arxiv url: http://arxiv.org/abs/2610.32322v1
• Date: Fri, 23 Oct 2026 08:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.432464
• Title: Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement
• Title（参考訳）: Beyond Gain: エージェントスキルのリタイアメントのためのスキル内部化の測定
• Abstract要約: モデルが改善されるにつれて、ハブは、あるモデルが内部化したスキルを見つけなければなりません。 スキルのみを比較した公開ルール。内部スキルと、モデルもスキルも能力を提供していない場合の両方で、ゲインはほぼゼロに近い。 代わりに、スキルを保ち、そこから合成されたタスクでモデルをスコアし、他のモデルがスキルから獲得した時にのみ高い評価を信頼します。
• 参考スコア（独自算出の注目度）: 10.642024005874019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents retrieve skills from public hubs that hold up to about 100,000 entries and serve many models. As models improve, a hub must find the skills a given model has internalized, meaning it can do without them, and retire them for that model, yet internalization has not been measured with known reliability. Published rules that compare runs with and without a skill retire on the gain alone. The gain is near zero both for an internalized skill and when neither the model nor the skill delivers the capability, a state we call uncovered. We instead withhold the skill, score the model on a task synthesized from it, and trust a high unaided score only when another model gains from the skill, since nearly half of high scores come from tasks no model benefits from. Under four models, a published gain rule applied with one task per skill removes over half of the uncovered skills. On SkillsBench, 28 of its 31 retirements rest on probes no run passed in full, while retiring on the unaided score costs no detectable reward. Unaided verdicts reproduce across tasks more often than the gain rule's (Cohen's kappa 0.42 against 0.23) but differ across models, so a hub must read them per model. We release 1,251 skills with tasks and item scores under four models.
• Abstract（参考訳）: LLMエージェントは、最大10万のエントリを保持するパブリックハブからスキルを取得し、多くのモデルを提供する。 モデルが改善されるにつれて、ハブは、あるモデルが内部化したスキルを見つけなければならない。 リリースされたルールは、パフォーマンスとスキルを伴わずに、利得だけでリタイアする。 ゲインは、内部スキルと、モデルもスキルも能力を提供していない場合の両方でゼロに近い。 その代わりに、スキルを保留し、そこから合成されたタスクでモデルをスコアし、他のモデルがスキルから獲得した時にのみ、高い未確認スコアを信頼します。 4つのモデルの下では、スキル毎の1つのタスクで適用されるゲインルールが、明らかにされていないスキルの半分以上を取り除きます。 SkillsBenchでは、31人のリタイアのうち28人が、フルタイムでパスしないプローブで休んでいる。 疑わしい評定はゲインルールよりも頻繁に再現される(コーエンのカッパ0.42対0.23)が、モデルによって異なるため、ハブはモデルごとに読み取らなければならない。 タスクとアイテムスコアを4つのモデルで比較した,1,251のスキルをリリースしています。

関連論文リスト

• One Skill Takes Over: Clashing Agent Skills and a One-File Fix [2.5489046505746704]
  SkillClashは、コードがすべてのルールをチェックし、参照出力が最高の結果を示す16対の同調スキルです。 4BオープンモデルからQwen3-235B、GPT-4.1までの5つのファミリーの7つのモデルでは、スキルのルールは、単独でロードされる時間の93～99%が従う。 殆どのアウトプットはテイクオーバを示している: 1つのスキルのみが要求するすべてのルールがフォローされ、他のスキルだけが要求するすべてのルールが削除される。
  論文  参考訳（メタデータ） (2026-10-18T07:11:24Z)
• Signal or Noise? A Benchmark Study of Agent Skills in Web Development [6.7220476997481375]
  私たちはWebDev-Skills-Benchを使って、50のWeb-Benchプロジェクトで31の公開WebDevスキルと1000のタスクを研究しています。 4つのモデル全体で、ターゲットスキルインジェクションは平均パス@2を1.3%減らして4.2%減らし、タスク完了の深さを低くし、トークンコストを72%減らして394%減らす。 損失は簡単な初期タスクに集中し、スキルランキングはモデル間で弱い転送をし、アンチパターンルールは有用なスキルの中でサンプル重いコンテンツより優れています。
  論文  参考訳（メタデータ） (2026-08-24T10:13:07Z)
• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
  ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。 スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。 本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
  論文  参考訳（メタデータ） (2026-08-05T17:57:16Z)
• Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses? [38.776828282073865]
  プログレッシブな開示下でのスキル使用を評価するベンチマークであるSkill-Useを紹介する。 トリガーは、エージェントが関連するスキルを起動するかどうかを計測し、コンプライアンスは、それが所定の手順に従うかを忠実に測定し、バウンダリは、それが禁止された操作を避けるかどうかを計測する。 スキル・ユース(SU)スコアは、スキルが起動された後にのみ3つとクレジットの実行を組み合わせる。
  論文  参考訳（メタデータ） (2026-08-05T13:29:16Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)
• Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
  集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。 モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。 私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。