論文の概要: Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills
- arxiv url: http://arxiv.org/abs/2608.20614v1
- Date: Thu, 20 Aug 2026 23:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.277717
- Title: Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills
- Title（参考訳）: エージェントではなくスキルを評価する: エージェントによるスキルの連続評価
- Abstract要約: 実行可能なエージェントアーティファクトとして、スキルと製品機能パッケージを評価するための、リポジトリネイティブフレームワーク。
ACESは、ターゲットスキルとなしのペアライブトライアルを実行し、6つのデフォルトランタイムメトリクスをグレードし、Skill Liftをレポートする。
この方法論のオープンソース実装はNVIDIA SkillEvaluatorで利用可能だ。
- 参考スコア（独自算出の注目度）: 9.077159743623076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise agent programs are moving from prototypes into production, where reusable skills, tools, and workflow packages must be reviewed with evidence rather than prose. Current gates often scan these artifacts for structure, style, and security, but they do not answer the deployment question: does the capability package help a live agent complete enterprise tasks under the same model, sandbox, and grading policy? We present ACES (Agentic Continuous Evaluation of Skills), a repository-native framework for evaluating skills and product capability packages as executable agent artifacts. ACES runs paired live trials with and without a target skill, normalizes trajectories into the Agent Trajectory Interchange Format (ATIF), grades six default runtime metrics, and reports Skill Lift: the target skill's added value for a fixed task, harness, workspace, and scorer. The same protocol supports product-owned task suites that compare baseline, skill, bundle, team-skill, and plugin targets. On 145 real skills from internal enterprise repositories and public catalogs, scan-only gates surface useful authoring issues but measure complementary facets (structural versus LLM-judge Spearman $ρ= 0.14$). Across 947 scored paired cases from 58 of 64 production skills and four primary harnesses, mean composite Skill Lift is 0.2134 (95\% paired-case CI [0.1967, 0.2301]); mean outcome-only lift, the average of accuracy and goal accuracy, is 0.1799. Composite lift is positive in 72.8\% of paired cases. The largest process-metric gains appear in skill execution, behavior check, and skill efficiency---signals about discovery, routing, workflow following, and tool use that document scans cannot observe. An open-source implementation of the methodology is available in NVIDIA SkillEvaluator.
- Abstract（参考訳）: エンタープライズエージェントプログラムはプロトタイプから本番環境に移行しており、再利用可能なスキル、ツール、ワークフローパッケージは、散文ではなくエビデンスでレビューする必要がある。
現在のゲートは、構造、スタイル、セキュリティのためにこれらのアーティファクトをスキャンすることが多いが、デプロイの質問には答えない。 機能パッケージは、ライブエージェントが同じモデル、サンドボックス、グレーディングポリシーの下でエンタープライズタスクを完了するのに役立ちますか?
ACES(Agentic Continuous Evaluation of Skills)は、実行可能なエージェントアーティファクトとして、スキルと製品機能パッケージを評価するための、リポジトリネイティブなフレームワークである。
ACESは、目標とするスキル、ハーネス、ワークスペース、スコアラに対して、ターゲットスキルが付加した付加価値であるスキルリフト(Skill Lift)の6つのデフォルトランタイムメトリクスをグレードし、ターゲットスキルとターゲットスキルのペアライブトライアルを実行し、トラジェクトリをAtIF(Agen Trajectory Interchange Format)に正規化する。
同じプロトコルは、ベースライン、スキル、バンドル、チームスキル、プラグインターゲットを比較する製品所有のタスクスイートをサポートする。
内部の企業リポジトリやパブリックカタログから145のスキルを身につけると、スキャンオンリーのゲートが有用なオーサリングの問題を表面化するが、補完的な面(構造対LLM-judge Spearman $ρ= 0.14$)を測る。
947人中58人の生産スキルと4つの主要ハーネスからペアリングケースを採点し、合成スキルリフトは0.2134(95.%ペアリングケースCI[0.1967, 0.2301])、平均結果のみリフト(平均精度と目標精度)は0.1799である。
複合リフトは72.8 %のペアケースで陽性である。
最大のプロセス単位のゲインは、スキル実行、行動チェック、スキル効率です - ドキュメントスキャンが監視できない発見、ルーティング、ワークフローフォロー、ツール使用に関する署名です。
この方法論のオープンソース実装はNVIDIA SkillEvaluatorで公開されている。
関連論文リスト
- Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills [86.15447717549154]
私たちは、スキルを創造し、研究中にそれらを使用する、スキル駆動型研究エージェントであるDisCoを紹介します。
私たちはこの欠落したレイヤの運用知識を、メソッドの知識を機能させるのと分離するノウハウと呼んでいる。
論文 参考訳（メタデータ） (2026-09-02T15:49:41Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files [12.451393173022346]
多くの公開SKILL.mdファイルは単一のタスク、リポジトリ、会話に由来する。
20,556リポジトリから138,133の公開SKILL.mdファイル間でのこのギャップを分析する。
91.8%のスキルには少なくとも1つの検出された欠陥が含まれており、厳密な閾値と厳密な閾値で安定した見積もりがある。
論文 参考訳（メタデータ） (2026-08-09T03:49:30Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳（メタデータ） (2026-05-29T12:59:08Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - SkillFlow:Benchmarking Lifelong Skill Discovery and Evolution for Autonomous Agents [33.117459452689964]
SkillFlowは、20家族にわたる166のタスクのベンチマークで、各家族内のタスク構成がドメインに依存しない実行フロー(DAEF)に従う。
エージェントはAgentic Lifelong Learningプロトコルで評価され、スキルなしで開始し、各ファミリー内でタスクをシーケンシャルに解決し、トラジェクトリおよびルーリック駆動のスキルパッチを通じてレッスンを外部化し、更新されたライブラリを前進させる。
論文 参考訳（メタデータ） (2026-04-19T07:51:46Z) - SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering? [27.583012125198568]
SWE-Skills-Benchは、現実のソフトウェア工学におけるエージェントスキルの限界効用を分離する最初の要件駆動ベンチマークである。
49の公開SWEスキルと、特定のコミットにピン留めされた本物のGitHubリポジトリと、明確な受け入れ基準を持つ要件ドキュメントをペアリングする。
以上の結果から,スキルインジェクションのメリットは,迅速な採用よりもはるかに限定的であることが示唆された。
論文 参考訳（メタデータ） (2026-03-16T15:16:31Z) - SoK: Agentic Skills -- Beyond Tool Use in LLM Agents [6.356997609995175]
エージェントシステムは、より確実にロングホライゾンを実行するために、再利用可能な手続き能力、すなわちエージェントスキルに依存している。
本論文は,全ライフサイクルのスキルレイヤ(発見,実践,蒸留,貯蔵,構成,評価,更新)をマッピングする。
我々は、スキルベースのエージェントのセキュリティとガバナンスの影響を分析し、サプライチェーンのリスク、スキルペイロードによるインジェクションの促進、信頼度の高い実行をカバーします。
論文 参考訳（メタデータ） (2026-02-24T13:11:38Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。