論文の概要: SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment
- arxiv url: http://arxiv.org/abs/2606.22613v1
- Date: Sun, 21 Jun 2026 17:40:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:19:36.070817
- Title: SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment
- Title（参考訳）: SkillAudit: 固定スパイトベンチマークからスキル中心評価へ
- Authors: Dexu Yu, Youhua Li, Zhaoyang Guan, Xianhao Lin, Jining Luan, Zihao Rao, Xuanqi Lan, Yang Ran, Bo Lan, Nai-Xin Zhai, Hanwen Du, Junchen Fu, Wenhao Deng, Yongxin Ni, Chunxiao Li,
- Abstract要約: スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。
実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。
トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
- 参考スコア（独自算出の注目度）: 10.850946672552277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent skills have become a practical way to extend large language model agents, but the growing skill ecosystem still lacks a reliable way to judge whether a skill is worth deploying. Existing evaluation methods remain largely anchored to fixed task suites, assessing skills through performance on predefined tasks and environments. As skill marketplaces expand, this paradigm becomes inadequate: fixed suites can conflate a skill's marginal contribution with backbone strength and miss its value when tasks fall outside the skill's intended scope. We introduce SkillAudit, an end-to-end framework for skill-centered assessment that takes an arbitrary agent skill as input and automatically generates a comprehensive, multi-dimensional evaluation report spanning utility, efficiency/cost, and safety. SkillAudit focuses on the skill artifact itself and constructs capability-aligned evaluation tasks directly from the skill package. The generated tasks are conducted in isolated sandbox environments to collect execution evidence, followed by automated checks with LLM-based judging to produce auditable results. To dissect the agent skills, we propose the baseline comparison principle to measure utility and efficiency/cost, and introduce a two-stage detection paradigm combining static semantic analysis with dynamic runtime verification to assess safety risks. After scanning top-ranked real-world skill packages spanning 23 occupational categories, we found that over 7% of skills are at risky status.
- Abstract（参考訳）: エージェントスキルは、大きな言語モデルエージェントを拡張するための実践的な方法になっているが、成長するスキルエコシステムには、デプロイする価値があるかどうかを判断する信頼できる方法がない。
既存の評価手法は主に固定されたタスクスイートに固定されており、事前に定義されたタスクや環境のパフォーマンスを通じてスキルを評価する。
固定されたスイートは、スキルの限界的な貢献をバックボーンの強さと説明し、タスクがスキルの意図する範囲外にあるときにその価値を逃すことができます。
SkillAuditは、任意のエージェントスキルを入力として、実用性、効率、コスト、安全性にまたがる総合的多次元評価レポートを自動的に生成する、スキル中心評価のためのエンドツーエンドフレームワークである。
SkillAuditは、スキルアーティファクト自体に焦点を当て、スキルパッケージから直接、機能に整合した評価タスクを構築します。
生成したタスクは独立したサンドボックス環境で実行証拠を収集し、続いてLLMに基づく自動チェックを行い、監査可能な結果を生成する。
エージェントのスキルを識別するために,有効性と効率/コストを測定するための基本的比較原理を提案し,静的なセマンティック分析と動的ランタイム検証を組み合わせた2段階検出パラダイムを導入し,安全性のリスクを評価する。
23の職種にまたがるトップランクの現実世界スキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
関連論文リスト
- A Framework for Evaluating Agentic Skills at Scale [0.4509560087514856]
エージェントスキルは構造化され、エージェント能力を増強する再利用可能な知識アーティファクトである。
個々のスキルを評価するための再利用可能な方法論は存在しない。
本稿では,スキルライターが現実的なタスクを構築できる評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-16T11:46:56Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。
プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T17:55:55Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳（メタデータ） (2026-06-04T12:16:08Z) - OpenSkillEval: Automatically Auditing the Open Skill Ecosystem for LLM Agents [15.598856888948093]
スキル強化エージェントシステムとスキル自体の自動評価フレームワークであるtextscOpenSkillEvalを提案する。
静的ベンチマークに頼る代わりに、textscOpenSkillEvalは、現実世界のアーティファクトの進化から現実的なタスクインスタンスを自動的に構築する。
600以上の動的に生成されたタスクインスタンスと30のオープンソーススキルを使用して、最先端のモデルとエージェントフレームワークを体系的に評価する。
論文 参考訳（メタデータ） (2026-05-22T14:09:41Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳（メタデータ） (2026-04-30T09:53:15Z) - Skill Retrieval Augmentation for Agentic AI [28.71123853744993]
既存のエージェントシステムでは、スキルを取り入れるための主要な戦略は、コンテキストウィンドウ内で利用可能なスキルを列挙することである。
本稿では,SRA(Skill Retrieval Augmentation, SRA)を定式化し, エージェントが要求に応じて外部スキルコーパスから適切なスキルを動的に取得し, 取り入れ, 適用する新しいパラダイムについて述べる。
SRA-Benchは、完全なSRAパイプラインの評価のための最初のベンチマークであり、スキル検索、スキルの取り込み、エンドタスクの実行をカバーしている。
論文 参考訳（メタデータ） (2026-04-27T15:19:59Z) - SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。
SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
論文 参考訳（メタデータ） (2026-04-05T06:25:11Z) - SkillNet: Create, Evaluate, and Connect AI Skills [159.47504178122156]
SkillNetは、大規模にAIスキルを作成し、評価し、組織化するように設計されたオープンインフラストラクチャである。
私たちのインフラストラクチャは、20万を超えるスキルのリポジトリ、インタラクティブなプラットフォーム、多目的Pythonツールキットを統合しています。
論文 参考訳（メタデータ） (2026-02-26T14:24:02Z) - SoK: Agentic Skills -- Beyond Tool Use in LLM Agents [6.356997609995175]
エージェントシステムは、より確実にロングホライゾンを実行するために、再利用可能な手続き能力、すなわちエージェントスキルに依存している。
本論文は,全ライフサイクルのスキルレイヤ(発見,実践,蒸留,貯蔵,構成,評価,更新)をマッピングする。
我々は、スキルベースのエージェントのセキュリティとガバナンスの影響を分析し、サプライチェーンのリスク、スキルペイロードによるインジェクションの促進、信頼度の高い実行をカバーします。
論文 参考訳（メタデータ） (2026-02-24T13:11:38Z) - Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
Intrinsic Reward Matching (IRM) を提案する。
IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
論文 参考訳（メタデータ） (2022-10-14T00:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。