論文の概要: Are Production Cloud Skills Adequately Tested? Measuring and Governing Skill Test Coverage in Practice
- arxiv url: http://arxiv.org/abs/2607.22015v1
- Date: Fri, 24 Jul 2026 06:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.05977
- Title: Are Production Cloud Skills Adequately Tested? Measuring and Governing Skill Test Coverage in Practice
- Title（参考訳）: 運用クラウドスキルは適切にテストされているか? 実践におけるスキルテストカバレッジの測定と管理
- Abstract要約: クラウドプラットフォームは、クラウドリソースの作成、設定、監視、トラブルシューティングにおいてAIエージェントをガイドする再利用可能なCloud Skillを提供している。
既存のスキル評価は、主にスキルがタスクの成功を改善するかどうかを測定する。
本稿では,Skillのテストスイートが運用テストの義務をどの程度完全にカバーしているかを計測するSkill Test Coverageを紹介する。
- 参考スコア（独自算出の注目度）: 11.764180874774164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cloud platforms increasingly deliver reusable Cloud Skills that guide AI agents in creating, configuring, monitoring, and troubleshooting cloud resources. Workflow-oriented Skills specify multiple resource operations, user choices, validation steps, and recovery behavior. Existing Skill evaluation primarily measures whether a Skill improves task success. Passing the available testcases, however, does not reveal which behaviors specified by the Skill have never been tested. This paper introduces Skill Test Coverage, which measures how completely a Skill's test suite covers its operational test obligations. We define the coverage units, testcase coverage relation, calculation procedure, and claim boundary. Because these units and links are not explicit in natural-language Skill packages, we develop a measurement pipeline that recovers operational obligations, organizes their workflow context, maps testcases using both user prompts and initial resource states, and produces an auditable coverage report. Model-assisted candidate generation is combined with expert review to ensure that the reported coverage remains grounded in the original Skill and testcase evidence. A post-review module then translates confirmed coverage gaps into source-grounded test-improvement recommendations.
- Abstract（参考訳）: クラウドプラットフォームは、クラウドリソースの作成、設定、監視、トラブルシューティングにおいてAIエージェントをガイドする再利用可能なCloud Skillを提供している。
ワークフロー指向スキルは、複数のリソース操作、ユーザ選択、バリデーションステップ、リカバリ動作を指定する。
既存のスキル評価は、主にスキルがタスクの成功を改善するかどうかを測定する。
しかし、利用可能なテストケースをパスしても、Skillによって指定されたどの動作がテストされたかは明らかになっていない。
本稿では,Skillのテストスイートが運用テストの義務をどの程度完全にカバーしているかを計測するSkill Test Coverageを紹介する。
我々は,カバレッジ単位,テストケースのカバレッジ関係,計算手順,クレーム境界を定義する。
これらのユニットとリンクは、自然言語のスキルパッケージでは明示的ではないため、運用上の義務を回復し、ワークフローコンテキストを整理し、ユーザプロンプトと初期リソース状態の両方を用いてテストケースをマップし、監査可能なカバレッジレポートを生成する計測パイプラインを開発する。
モデル支援候補生成は、専門家のレビューと組み合わせて、報告されたカバレッジが元のスキルとテストケースのエビデンスに基礎を置いていることを保証する。
レビュー後モジュールは、確認済みのカバレッジギャップをソース地上テスト改善レコメンデーションに変換する。
関連論文リスト
- SkillSecurer: Detecting and Patching Prompt-Injection Vulnerabilities in AI Agent Skills [0.6263481844384228]
SkillSecurerは、エージェントスキルのセキュリティリスクの生成、検出、ローカライズ、更新を行うフレームワークである。
レッドエージェントは、正確な修正を記録しながら、9つの脅威タイプにわたるコンテキスト互換のインジェクションを生成する。
ブルーエージェントは完全なスキルパッケージを分析し、根拠付きエビデンスを生成し、パッチを提案する。
論文 参考訳（メタデータ） (2026-09-12T17:52:06Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。
実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。
トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
論文 参考訳（メタデータ） (2026-06-21T17:40:05Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - Skill Coverage: A Test Adequacy Metric for Agent Skills [17.60316723069748]
エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。
テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。
SkillsBenchにスキルカバレッジを適用すると、既存のベンチマークの実行はスキル行動の制約の39.90から43.98%しかカバーしていないことが明らかになった。
論文 参考訳（メタデータ） (2026-06-09T10:16:05Z) - What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents [58.87681796862133]
我々は経済的なレンズを通してスキルの書き直しを勉強する。
我々のフレームワークは、情報保存戦略を用いて、スキル構造をプロファイルし、スキルを書き換える。
SkillsBenchの実験は、戦略間の異なる品質とコストのトレードオフを明らかにしている。
論文 参考訳（メタデータ） (2026-06-08T12:36:51Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents [15.669318649782285]
我々は、統一されたプロトコルの下でスキル生成パイプラインを評価するためのベンチマークであるSkillGenBenchを紹介する。
ジェネレータは生のコーパスを受け取り、標準化されたスキルアーティファクトを生成し、固定ハーネスの下で実行される。
様々なスキルジェネレーション手法とバックボーンの実験は、かなりの性能変化を示している。
論文 参考訳（メタデータ） (2026-05-18T17:28:36Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。