論文の概要: Skill Coverage: A Test Adequacy Metric for Agent Skills

• arxiv url: http://arxiv.org/abs/2606.20659v1
• Date: Tue, 09 Jun 2026 10:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 20:33:26.163699
• Title: Skill Coverage: A Test Adequacy Metric for Agent Skills
• Title（参考訳）: スキルカバレッジ:エージェントスキルのテスト基準
• Abstract要約: エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 SkillsBenchにスキルカバレッジを適用すると、既存のベンチマークの実行はスキル行動の制約の39.90から43.98%しかカバーしていないことが明らかになった。
• 参考スコア（独自算出の注目度）: 17.60316723069748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent skills encode reusable procedural knowledge that guides large language model agents across tasks and execution contexts. Existing evaluations primarily assess skills through task level outcomes, yet task success alone does not reveal which parts of a skill have been exercised or which remain untested. We introduce skill coverage, a test adequacy metric that treats the skill artifact as the object under test. Our approach extracts observable skill behavior constraints from skill documents and measures whether an agent trajectory provides sufficient evidence to exercise and evaluate each constraint. Skill coverage uses a binary cover or not cover judgment, which reports whether a documented behavior has been exercised with sufficient observable evidence, without assigning an additional outcome label to the behavior. Applying skill coverage to SkillsBench reveals that existing benchmark executions cover only 39.90 to 43.98% of skill behavior constraints, suggesting that current benchmark tasks leave large portions of documented skill guidance untested. These findings show that successful task completion does not imply adequate testing of the skill artifact, highlighting skill coverage as a measure of how thoroughly agent skills are tested.
• Abstract（参考訳）: エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 既存の評価は、主にタスクレベルの成果を通じてスキルを評価するが、タスクの成功だけでは、どのスキルが実行されたか、テストされていないかを明らかにしない。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 提案手法は,スキル文書から観測可能なスキル行動制約を抽出し,エージェントがそれぞれの制約をエクササイズし評価するための十分な証拠を提供するかどうかを測定する。 スキルカバレッジはバイナリカバーを使用するか、カバーしないかを判断する。これは、ドキュメント化された振る舞いが、その振る舞いに追加の結果ラベルを割り当てることなく、十分な観察可能な証拠で実行されたかどうかを報告する。 SkillsBenchにスキルカバレッジを適用することで、既存のベンチマーク実行はスキル動作の制約の39.90から43.98%しかカバーしていないことが判明した。 これらの結果から,タスク完了の達成はスキルアーティファクトの適切なテストにはならないことが示唆され,エージェントスキルの徹底的なテスト方法として,スキルカバレッジが強調された。

関連論文リスト

• Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents [17.291924088593408]
  大規模言語モデル(LLM)エージェントは、完了したタスクからスキルを誘導し、後で再利用することで、より経験を積むことができる。 実際には、誘導されたスキルは信頼できない移動をし、それらを回収するエージェントを傷つけることもある。 我々は、タスク間でのスキルの伝達の仕方について、包括的で制御された研究を行う。
  論文  参考訳（メタデータ） (2026-08-20T17:12:08Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• SkillEval: Decomposing Agent Skill Quality into Interpretable Signals [27.757569384137767]
  textttSKILL.mdドキュメントの一般的な性質は、スキル品質において重要な役割を果たす。 SkillEvalは、制御された正負のスキルペアから、各品質特性の解釈可能な方向を学習する。 SkillEvalのスコアは下流のタスクのパフォーマンスをよく反映しており、エージェントがタスクを完了するのにスキルが役立つかどうかを早期に示す。
  論文  参考訳（メタデータ） (2026-08-07T07:25:17Z)
• Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses? [38.776828282073865]
  プログレッシブな開示下でのスキル使用を評価するベンチマークであるSkill-Useを紹介する。 トリガーは、エージェントが関連するスキルを起動するかどうかを計測し、コンプライアンスは、それが所定の手順に従うかを忠実に測定し、バウンダリは、それが禁止された操作を避けるかどうかを計測する。 スキル・ユース(SU)スコアは、スキルが起動された後にのみ3つとクレジットの実行を組み合わせる。
  論文  参考訳（メタデータ） (2026-08-05T13:29:16Z)
• Are Production Cloud Skills Adequately Tested? Measuring and Governing Skill Test Coverage in Practice [11.764180874774164]
  クラウドプラットフォームは、クラウドリソースの作成、設定、監視、トラブルシューティングにおいてAIエージェントをガイドする再利用可能なCloud Skillを提供している。 既存のスキル評価は、主にスキルがタスクの成功を改善するかどうかを測定する。 本稿では,Skillのテストスイートが運用テストの義務をどの程度完全にカバーしているかを計測するSkill Test Coverageを紹介する。
  論文  参考訳（メタデータ） (2026-07-24T06:27:53Z)
• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents [15.669318649782285]
  我々は、統一されたプロトコルの下でスキル生成パイプラインを評価するためのベンチマークであるSkillGenBenchを紹介する。 ジェネレータは生のコーパスを受け取り、標準化されたスキルアーティファクトを生成し、固定ハーネスの下で実行される。 様々なスキルジェネレーション手法とバックボーンの実験は、かなりの性能変化を示している。
  論文  参考訳（メタデータ） (2026-05-18T17:28:36Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
  LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。 SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
  論文  参考訳（メタデータ） (2026-04-05T06:25:11Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)
• Behavior Contrastive Learning for Unsupervised Skill Discovery [75.6190748711826]
  本研究では,行動間のコントラスト学習による非教師なしスキル発見手法を提案する。 軽度の仮定では、同じスキルに基づいて異なる行動間のMIを最大化する。 提案手法は、状態のエントロピーを暗黙的に増加させ、より良い状態カバレッジを得る。
  論文  参考訳（メタデータ） (2023-05-08T06:02:11Z)
• Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction [19.43668931500507]
  本稿では,リテラルマッチングによる遠隔監視に基づく,スキル抽出のためのエンドツーエンドシステムを提案する。 ESCO分類を用いて、関連するスキルからネガティブな例を選択することで、最大の改善が得られます。 我々は,タスクのさらなる研究を促進するために,研究目的のベンチマークデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-09-13T13:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。