論文の概要: SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment

• arxiv url: http://arxiv.org/abs/2610.38147v1
• Date: Wed, 28 Oct 2026 01:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.937311
• Title: SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment
• Title（参考訳）: SkillCT:エージェントスキル評価のための多次元ベンチマークと実行自由ベースライン
• Abstract要約: 特別なタスクのためのエージェントスキルパッケージの指示、スクリプト、リソースは、公開Webリポジトリを通じてますます分散されます。 既存のスキルベンチマークは、主にダウンストリームタスクの実行、仕様品質、振る舞いの堅牢性、セマンティックアライメント、責任境界の評価に重点を置いている。 我々は、下流ユーティリティからスキル品質の多次元評価まで、スキル評価を拡大するベンチマークであるSkillCTを紹介する。
• 参考スコア（独自算出の注目度）: 5.374692296344299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent skills package instructions, scripts, and resources for specialized tasks and are increasingly distributed through public Web repositories. However, existing skill benchmarks primarily focus on downstream task execution, insufficiently assessing specification quality, behavioral robustness, semantic alignment, and responsibility boundaries. Their reliance on task-specific tools, environments, and repeated executions limits scalability and pre-deployment assessment. To address these challenges, we introduce SkillCT, a benchmark that broadens skill assessment from downstream utility to a multidimensional characterization of skill quality. SkillCT evaluates skills across nine complementary dimensions spanning three aspects: Static Assessment, which captures intrinsic properties of the skill specification; Dynamic Assessment, which measures whether the induced behavior remains stable across backbone models and request variations; and Human-Assisted Assessment, which examines behavior-chain consistency and task granularity. These dimensions provide a broader view of skill quality than execution success. Applying SkillCT to a public skill corpus establishes a reference benchmark for analyzing quality weaknesses and relationships across dimensions. Building on this benchmark, we propose an execution-free quality evaluation baseline that predicts the multidimensional quality profiles of unseen skills by retrieving and leveraging similar reference skills, without executing the skills under evaluation. This reduces token consumption and evaluation time, while preserving consistency with the full assessment. Furthermore, SkillCT-guided optimization improves downstream task success and execution efficiency, demonstrating its value for skill refinement. These findings highlight the effectiveness of SkillCT in supporting scalable skill assessment, optimization, and repository maintenance.
• Abstract（参考訳）: エージェントスキル パッケージの指示、スクリプト、特別なタスクのためのリソースは、公開Webリポジトリを通じてますます分散されます。 しかし、既存のスキルベンチマークは、主にダウンストリームタスクの実行、仕様品質、振る舞いの堅牢性、セマンティックアライメント、責任境界の評価に重点を置いている。 タスク固有のツール、環境、繰り返し実行される実行に依存しているため、スケーラビリティと事前デプロイアセスメントが制限される。 これらの課題に対処するために、下流ユーティリティからスキル品質の多次元評価まで、スキルアセスメントを拡大するベンチマークであるSkillCTを紹介する。 SkillCTは、スキル仕様の固有の特性をキャプチャする静的アセスメント、バックボーンモデルと要求のバリエーション間で誘導行動が安定しているかどうかを測定するダイナミックアセスメント、行動連鎖の一貫性とタスクの粒度を調べるヒューマンアシストアセスメントの3つの側面にまたがる9つの相補的次元のスキルを評価する。 これらの次元は、実行の成功よりも、スキル品質のより広い視点を提供します。 パブリックスキルコーパスにSkillCTを適用することで、次元を越えた品質の弱点と関係を分析するための基準ベンチマークが確立される。 本ベンチマークに基づいて,評価対象のスキルを実行することなく,類似の参照スキルを検索,活用することにより,見知らぬスキルの多次元的品質プロファイルを予測する,実行自由品質評価ベースラインを提案する。 これにより、トークンの消費と評価時間が短縮され、完全な評価と一貫性が保たれる。 さらに、SkillCT誘導最適化により、下流タスクの成功と実行効率が向上し、スキル改善の価値が示される。 これらの結果は、スケーラブルなスキルアセスメント、最適化、リポジトリのメンテナンスをサポートするSkillCTの有効性を強調している。

関連論文リスト

• SkillSandbox: Skill Verification via Dynamic Scenario Synthesis [19.59280350757542]
  自己進化型エージェントは、経験を将来の再利用のためのスキルに蒸留するが、これらのスキルは誤った手順や非伝達可能な知識を符号化することができる。 したがって、それぞれのスキルの再利用性を検証することが重要であり、そのガイダンスが蒸留された経験を超えて有用であるかどうかである。 SkillSandboxは,スキル関連の新しいスキルごとに動的にタスクとその環境を合成するフレームワークである。
  論文  参考訳（メタデータ） (2026-10-07T13:48:58Z)
• SkillEval: Decomposing Agent Skill Quality into Interpretable Signals [27.757569384137767]
  textttSKILL.mdドキュメントの一般的な性質は、スキル品質において重要な役割を果たす。 SkillEvalは、制御された正負のスキルペアから、各品質特性の解釈可能な方向を学習する。 SkillEvalのスコアは下流のタスクのパフォーマンスをよく反映しており、エージェントがタスクを完了するのにスキルが役立つかどうかを早期に示す。
  論文  参考訳（メタデータ） (2026-08-07T07:25:17Z)
• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• A Framework for Evaluating Agentic Skills at Scale [0.4509560087514856]
  エージェントスキルは構造化され、エージェント能力を増強する再利用可能な知識アーティファクトである。 個々のスキルを評価するための再利用可能な方法論は存在しない。 本稿では,スキルライターが現実的なタスクを構築できる評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-16T11:46:56Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI [1.5749416770494706]
  質的判断の定量化(QQJ)はスケーラブルで人中心的な評価フレームワークである。 QQJは、専門家が設計した多次元ルーブリックの評価をアンカーすることで、品質の定義をその実行から分離する。 テキストと画像生成に関する大規模な実験は、QQJが人間の判断とかなり強く一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-17T10:53:43Z)
• TRACE: Trajectory-Aware Comprehensive Evaluation for Deep Research Agents [51.30998248590416]
  Trajectory-Aware Comprehensive Evaluation (TRACE) は、問題解決の軌道全体を評価するフレームワークである。 私たちのコントリビューションには、TRACEフレームワーク、その新しいメトリクス、および制御可能な複雑さを伴うDeepResearch-Benchが含まれています。
  論文  参考訳（メタデータ） (2026-02-05T13:28:57Z)
• CritiQ: Mining Data Quality Criteria from Human Preferences [91.44025907584931]
  人間の嗜好からデータ品質の基準を自動的にマイニングする新しいデータ選択手法であるCritiQを紹介する。 CritiQ Flowはマネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。 コード,数学,論理領域において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-26T16:33:41Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。