論文の概要: Skill Coverage: A Test Adequacy Metric for Agent Skills

• arxiv url: http://arxiv.org/abs/2606.20659v1
• Date: Tue, 09 Jun 2026 10:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 20:33:26.163699
• Title: Skill Coverage: A Test Adequacy Metric for Agent Skills
• Title（参考訳）: スキルカバレッジ:エージェントスキルのテスト基準
• Authors: Boyin Tan, Xiaowei Huang, Youcheng Sun,
• Abstract要約: エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 SkillsBenchにスキルカバレッジを適用すると、既存のベンチマークの実行はスキル行動の制約の39.90から43.98%しかカバーしていないことが明らかになった。
• 参考スコア（独自算出の注目度）: 17.60316723069748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent skills encode reusable procedural knowledge that guides large language model agents across tasks and execution contexts. Existing evaluations primarily assess skills through task level outcomes, yet task success alone does not reveal which parts of a skill have been exercised or which remain untested. We introduce skill coverage, a test adequacy metric that treats the skill artifact as the object under test. Our approach extracts observable skill behavior constraints from skill documents and measures whether an agent trajectory provides sufficient evidence to exercise and evaluate each constraint. Skill coverage uses a binary cover or not cover judgment, which reports whether a documented behavior has been exercised with sufficient observable evidence, without assigning an additional outcome label to the behavior. Applying skill coverage to SkillsBench reveals that existing benchmark executions cover only 39.90 to 43.98% of skill behavior constraints, suggesting that current benchmark tasks leave large portions of documented skill guidance untested. These findings show that successful task completion does not imply adequate testing of the skill artifact, highlighting skill coverage as a measure of how thoroughly agent skills are tested.
• Abstract（参考訳）: エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 既存の評価は、主にタスクレベルの成果を通じてスキルを評価するが、タスクの成功だけでは、どのスキルが実行されたか、テストされていないかを明らかにしない。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 提案手法は,スキル文書から観測可能なスキル行動制約を抽出し,エージェントがそれぞれの制約をエクササイズし評価するための十分な証拠を提供するかどうかを測定する。 スキルカバレッジはバイナリカバーを使用するか、カバーしないかを判断する。これは、ドキュメント化された振る舞いが、その振る舞いに追加の結果ラベルを割り当てることなく、十分な観察可能な証拠で実行されたかどうかを報告する。 SkillsBenchにスキルカバレッジを適用することで、既存のベンチマーク実行はスキル動作の制約の39.90から43.98%しかカバーしていないことが判明した。 これらの結果から,タスク完了の達成はスキルアーティファクトの適切なテストにはならないことが示唆され,エージェントスキルの徹底的なテスト方法として,スキルカバレッジが強調された。

関連論文リスト

• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents [15.669318649782285]
  我々は、統一されたプロトコルの下でスキル生成パイプラインを評価するためのベンチマークであるSkillGenBenchを紹介する。 ジェネレータは生のコーパスを受け取り、標準化されたスキルアーティファクトを生成し、固定ハーネスの下で実行される。 様々なスキルジェネレーション手法とバックボーンの実験は、かなりの性能変化を示している。
  論文  参考訳（メタデータ） (2026-05-18T17:28:36Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
  LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。 SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
  論文  参考訳（メタデータ） (2026-04-05T06:25:11Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)
• Behavior Contrastive Learning for Unsupervised Skill Discovery [75.6190748711826]
  本研究では,行動間のコントラスト学習による非教師なしスキル発見手法を提案する。 軽度の仮定では、同じスキルに基づいて異なる行動間のMIを最大化する。 提案手法は、状態のエントロピーを暗黙的に増加させ、より良い状態カバレッジを得る。
  論文  参考訳（メタデータ） (2023-05-08T06:02:11Z)
• Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction [19.43668931500507]
  本稿では,リテラルマッチングによる遠隔監視に基づく,スキル抽出のためのエンドツーエンドシステムを提案する。 ESCO分類を用いて、関連するスキルからネガティブな例を選択することで、最大の改善が得られます。 我々は,タスクのさらなる研究を促進するために,研究目的のベンチマークデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-09-13T13:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。