論文の概要: SkillEval: Decomposing Agent Skill Quality into Interpretable Signals

• arxiv url: http://arxiv.org/abs/2608.06891v1
• Date: Fri, 07 Aug 2026 07:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.386678
• Title: SkillEval: Decomposing Agent Skill Quality into Interpretable Signals
• Title（参考訳）: SkillEval: エージェントスキルの品質を解釈可能な信号に分解する
• Abstract要約: textttSKILL.mdドキュメントの一般的な性質は、スキル品質において重要な役割を果たす。 SkillEvalは、制御された正負のスキルペアから、各品質特性の解釈可能な方向を学習する。 SkillEvalのスコアは下流のタスクのパフォーマンスをよく反映しており、エージェントがタスクを完了するのにスキルが役立つかどうかを早期に示す。
• 参考スコア（独自算出の注目度）: 27.757569384137767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent skills provide reusable procedural knowledge that helps agents solve specialized tasks. As their use expands, evaluating skill quality becomes increasingly important. Existing evaluations often measure skill quality by testing whether a skill improves performance on specific downstream tasks. However, a reusable skill may apply to multiple task scenarios. Downstream evaluation mainly reflects the compatibility between a skill and the evaluated task, provides only a partial view of skill quality, and does not identify which aspect of the skill should be improved. We find that general properties of the \texttt{SKILL.md} document play an important role in skill quality. To evaluate these properties, we propose \textbf{SkillEval}, an interpretable framework for document-level skill evaluation. SkillEval evaluates each property using a fixed and inspectable scoring direction, producing interpretable scores. It further measures and reduces the influence of unrelated document features, such as length and formatting, so that each score captures its intended semantic property more specifically. Specifically, SkillEval learns an interpretable direction for each quality property from controlled positive--negative skill pairs in the hidden representation space of the model, and scores a new skill by projecting its representation onto these fixed directions. We use SkillEval to evaluate skills in controlled quality tests and show that SkillEval reliably distinguishes skills of different quality. In addition, SkillEval scores closely reflect downstream task performance, providing an early indication of whether a skill is likely to help an agent complete a task. We further explore SkillEval for diagnosing weaknesses in skill documents and guiding targeted revisions. The revised skills improve the targeted properties and achieve higher pass rates on downstream tasks.
• Abstract（参考訳）: エージェントスキルは、エージェントが専門的なタスクを解くのに役立つ再利用可能な手続き的知識を提供する。 利用が拡大するにつれて、スキルクオリティの評価がますます重要になる。 既存の評価は、特定の下流タスクのパフォーマンスを改善するかどうかをテストすることによって、スキルの品質を測定することが多い。 しかし、再利用可能なスキルは複数のタスクシナリオに適用できる。 下流評価は、主に、スキルと評価タスクの互換性を反映し、スキル品質の部分的なビューのみを提供し、そのスキルのどの側面を改善するべきかを特定しない。 我々は, スキルクオリティにおいて, texttt{SKILL.md}文書の一般的な性質が重要な役割を担っていることを発見した。 これらの特性を評価するために,文書レベルのスキル評価を行うための解釈可能なフレームワークである「textbf{SkillEval}」を提案する。 SkillEvalは、固定および検査可能なスコアの方向を使用して各プロパティを評価し、解釈可能なスコアを生成する。 さらに、長さやフォーマットなど、関係のない文書の特徴の影響を計測し、低減し、各スコアがその意図する意味的特性をより具体的に捉える。 具体的には、モデルの隠れ表現空間において、制御された正負のスキルペアから、各品質特性に対する解釈可能な方向を学習し、その表現をこれらの固定方向に向けて投影することにより、新たなスキルを評価する。 制御された品質テストのスキルを評価するためにSkillEvalを使用し、異なる品質のスキルを確実に区別することを示す。 さらに、SkillEvalのスコアは下流のタスクのパフォーマンスをよく反映しており、エージェントがタスクを完了するのにスキルが役立つかどうかを早期に示す。 さらに、スキルドキュメントの弱点を診断し、対象とするリビジョンを導くSkillEvalについても検討する。 改良されたスキルは、ターゲットプロパティを改善し、下流タスクでより高いパスレートを達成する。

関連論文リスト

• Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents [17.291924088593408]
  大規模言語モデル(LLM)エージェントは、完了したタスクからスキルを誘導し、後で再利用することで、より経験を積むことができる。 実際には、誘導されたスキルは信頼できない移動をし、それらを回収するエージェントを傷つけることもある。 我々は、タスク間でのスキルの伝達の仕方について、包括的で制御された研究を行う。
  論文  参考訳（メタデータ） (2026-08-20T17:12:08Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• What Is a Skill Worth? Structure-Aware Shapley Valuation of Agent Skills [18.13304162006297]
  本稿では,スキル評価のための構造認識フレームワークであるSkillSVを紹介する。 SkillSVは、スキルを単位、依存関係、階層にコンパイルするので、有効なカウンターファクトのスキルのみが評価される。 ノイズエージェント評価のためのロールアウト予算推定器を用いて結果値を推定する。
  論文  参考訳（メタデータ） (2026-08-05T07:56:26Z)
• SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use [21.05387636058484]
  SkillCoachは、エージェントのスキル使用を評価し、強化するための自己進化フレームワークである。 実際のロールアウトから熟練したプロセスルーブリックを導き、四次元に沿って軌道を評価する。 外部検証器を別個の結果信号として保持し、プロセス品質を偶然のタスク成功と区別できるようにする。
  論文  参考訳（メタデータ） (2026-07-02T08:28:51Z)
• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• A Framework for Evaluating Agentic Skills at Scale [0.4509560087514856]
  エージェントスキルは構造化され、エージェント能力を増強する再利用可能な知識アーティファクトである。 個々のスキルを評価するための再利用可能な方法論は存在しない。 本稿では,スキルライターが現実的なタスクを構築できる評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-16T11:46:56Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Skill Coverage: A Test Adequacy Metric for Agent Skills [17.60316723069748]
  エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 SkillsBenchにスキルカバレッジを適用すると、既存のベンチマークの実行はスキル行動の制約の39.90から43.98%しかカバーしていないことが明らかになった。
  論文  参考訳（メタデータ） (2026-06-09T10:16:05Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
  有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。 SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。 実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-05-12T12:21:49Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
  Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。 より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
  論文  参考訳（メタデータ） (2026-04-30T09:53:15Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。