論文の概要: MCRI: A Four-Dimensional Framework for Analyzing and Evaluating Agent Skills
- arxiv url: http://arxiv.org/abs/2610.01506v1
- Date: Thu, 01 Oct 2026 11:43:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.094393
- Title: MCRI: A Four-Dimensional Framework for Analyzing and Evaluating Agent Skills
- Title（参考訳）: MCRI:エージェントスキルの分析と評価のための4次元フレームワーク
- Abstract要約: 本研究では,大規模言語モデルに基づく評価手法であるMCRI-Evalとして4次元MCRIフレームワークを提案し,運用する。
我々は,BigCodeBench,BFCL-Fundamental,Mind2Webにまたがる58,275のスキル条件付きモデル実行を用いて,OpenClawスキルハブから63,812の公開スキルを用いてMCRI-Evalを評価した。
MCRI-Evalスコアは,コミュニティの人気信号に肯定的に関連し,評価手法の中で最下位のランク付け合意を達成している。
- 参考スコア（独自算出の注目度）: 14.891298931522309
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As agents evolve from single-tool systems into modular, composite architectures, skills are becoming an important mechanism for capability development and distribution. However, the academic community lacks a structured framework for systematically analyzing and evaluating skills. Drawing on information gain and behavioral constraint, we propose the four-dimensional MCRI Framework and operationalize it as MCRI-Eval, a large language model-based evaluation method. We evaluate MCRI-Eval using 63,812 public skills from the OpenClaw skill Hub, with 58,275 skill-conditioned model executions across BigCodeBench, BFCL-Fundamental, and Mind2Web. MCRI-Eval scores are positively associated with community popularity signals and achieve the highest downstream ranking agreement among the evaluated methods. MCRI-Eval also improves top-1 skill selection across all three benchmarks: compared with the strongest baseline on each benchmark, the skills selected by MCRI-Eval advance by 17.7, 22.8, and 19.6 percentile points in downstream performance rank on BigCodeBench, BFCL-Fundamental, and Mind2Web, respectively. These results indicate that MCRI-Eval provides a useful pre-execution signal for prioritizing promising skills before costly execution-based evaluation.
- Abstract（参考訳）: エージェントがシングルツールシステムからモジュラーな複合アーキテクチャへと進化するにつれ、スキルは能力開発と分散の重要なメカニズムになりつつある。
しかし、学術コミュニティは、スキルを体系的に分析し評価するための構造化された枠組みを欠いている。
情報ゲインと行動制約に基づいて,4次元のMCRIフレームワークを提案し,大規模言語モデルに基づく評価手法であるMCRI-Evalとして運用する。
我々は,BigCodeBench,BFCL-Fundamental,Mind2Webにまたがる58,275のスキル条件付きモデル実行を用いて,OpenClawスキルハブから63,812の公開スキルを用いてMCRI-Evalを評価した。
MCRI-Evalスコアは,コミュニティの人気信号に肯定的に関連し,評価手法の中で最下位のランク付け合意を達成している。
MCRI-Evalは、各ベンチマークで最強のベースラインと比較して、BigCodeBench、BFCL-Fundamental、Mind2Webのダウンストリームパフォーマンスランキングにおいて、MCRI-Evalが17.7、22.8、19.6%のスキルをそれぞれ選択した。
これらの結果から,MCRI-Evalは,コストの高い実行ベース評価を行う前に,有望なスキルの優先順位付けに有用な事前実行信号を提供することが示された。
関連論文リスト
- COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。
既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。
動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
論文 参考訳（メタデータ） (2026-09-10T15:12:24Z) - EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models [66.28519000191191]
EmoSBenchは、Spoken Language Modelsの最初の包括的なEI評価ベンチマークである。
EmoSは83.8%の精度に達し、人間レベルのパフォーマンスに近づいている。
論文 参考訳（メタデータ） (2026-08-10T06:58:30Z) - Skill-RM: Unifying Heterogeneous Evaluation Criteria via Agent Skill [36.002795736704]
本稿では、再利用可能なリワード評価スキルの実行として報酬モデリングを再構築する統合フレームワークであるスキル・リワードモデル(Skill-RM)を提案する。
報酬計算を構造化されたエージェントタスクとして扱うことで、Skill-RMは異種資源をオーケストレーションするための一貫したインターフェースを提供する。
以上の結果から,Skill-RMは報酬モデリングのための統一的なソリューションを提供するだけでなく,エビデンスを戦略的かつ動的にオーケストレーションすることで,優れたパフォーマンスを実現することが示唆された。
論文 参考訳（メタデータ） (2026-06-02T17:56:57Z) - RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。
現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。
MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
論文 参考訳（メタデータ） (2026-02-13T12:56:31Z) - CE-RM: A Pointwise Generative Reward Model Optimized via Two-Stage Rollout and Unified Criteria [48.70940362676624]
専用の2段階ロールアウト法を用いて学習したポイントワイズ生成報酬モデルCE-RM-4Bを提案する。
オープンソースの選好データセットから算出した約5.7Kの高品質データを用いて、CE-RM-4Bは様々な報奨モデルベンチマークにおいて優れた性能を実現する。
論文 参考訳（メタデータ） (2026-01-28T07:46:13Z) - LLM-Assisted AHP for Explainable Cyber Range Evaluation [0.0]
サイバーレンジ(CR)は、サイバーセキュリティトレーニングと教育のための重要なプラットフォームとして登場した。
本稿では、ミッションクリティカルな設定を強調したCRの評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-11T10:07:15Z) - Cybersecurity AI Benchmark (CAIBench): A Meta-Benchmark for Evaluating Cybersecurity AI Agents [0.36134114973155557]
既存のベンチマークは、統合されたパフォーマンスではなく、独立したスキルを評価する。
モジュール型メタベンチマークフレームワークであるCAIBench(Cybersecurity AI Benchmark)を紹介する。
適切なマッチは2.6$times$ variance in Attack and Defense CTFsまで改善される。
論文 参考訳（メタデータ） (2025-10-28T11:36:20Z) - Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks [0.0]
大規模言語モデル (LLM) は、機械生成テキストの品質を評価するための評価器 (LLM-as-a-Judge) としてますます採用されている。
本稿では,LPM-as-a-Judgeアーキテクチャの早期注入攻撃に対する脆弱性について検討する。
論文 参考訳（メタデータ） (2025-05-19T16:51:12Z) - MEQA: A Meta-Evaluation Framework for Question & Answer LLM Benchmarks [0.0]
質問と回答(QA)ベンチマークのメタ評価のためのフレームワークであるMEQAを提案する。
我々は,人間とLLM評価器を用いたサイバーセキュリティベンチマークにおいて,この手法を実証する。
私たちは、強力な防御ツールとセキュリティ脅威として、AIモデルの二重性によるテストドメインの選択を動機付けています。
論文 参考訳（メタデータ） (2025-04-18T19:01:53Z) - IHEval: Evaluating Language Models on Following the Instruction Hierarchy [67.33509094445104]
命令階層は、システムメッセージからユーザメッセージ、会話履歴、ツール出力への優先順位を定めている。
その重要性にもかかわらず、このトピックは限定的な注目を集めており、命令階層に従うモデルの能力を評価するための包括的なベンチマークが欠如している。
IHEvalは、異なる優先順位の命令が一致または矛盾するケースをカバーする、新しいベンチマークです。
論文 参考訳（メタデータ） (2025-02-12T19:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。