論文の概要: DAREBench: Deployment-Aware and Reliable Evaluation of Models as Agents
- arxiv url: http://arxiv.org/abs/2609.06059v1
- Date: Sat, 05 Sep 2026 12:36:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.187443
- Title: DAREBench: Deployment-Aware and Reliable Evaluation of Models as Agents
- Title（参考訳）: DAREBench: デプロイ意識とエージェントとしてのモデルの信頼性評価
- Abstract要約: DAREBenchは、ワークロードの変動を捉え、信頼できるエージェント評価をサポートするために設計されたベンチマークである。
単一のモデルがすべてのワークロードグループ、テキスト、マルチモーダルタスクを支配しているわけではない。
これらの結果は、エージェントのデプロイメントとモデルの選択は、ワークロードプロファイル、デプロイメントモード、精度の高いトレードオフを考慮するべきであることを示唆している。
- 参考スコア（独自算出の注目度）: 16.576661790025668
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: As large language models evolve from question-answering systems into general-purpose agents, evaluation must move beyond static answer correctness to assess multimodal perception, multi-step execution, tool use, and artifact delivery. However, existing benchmarks are often tied to specific task types, execution environments, or scoring protocols, limiting their comparability, interpretability, and reliability for deployment decisions. We introduce DAREBench (Deployment-Aware and Reliable Evaluation of Models as Agents), a benchmark designed to capture workload variation and support reliable agent evaluation. Built on a shared OpenClaw execution environment, DAREBench organizes 233 tasks selected and adapted from 22 source benchmarks into a $2\times3$ workload matrix defined by input modality and execution form, and evaluates them under a unified contract-based protocol with evidence-based score auditing. We evaluate 23 commercial API models and 12 locally deployed open-weight models over 7,587 model--task runs, reporting accuracy and token consumption alongside reference costs for API models. Results show that no single model dominates all workload groups, text and multimodal tasks exhibit distinct accuracy--cost trade-offs, and local open-weight models are competitive in several groups but still trail frontier commercial models overall. These findings suggest that agent deployment and model selection should consider workload profiles, deployment mode, and accuracy--cost trade-offs rather than rely on a single aggregate score.
- Abstract（参考訳）: 大規模言語モデルが質問応答システムから汎用エージェントへと進化するにつれて、評価は静的回答の正しさを超えて、マルチモーダル認識、マルチステップ実行、ツール使用、アーティファクト配信を評価する必要がある。
しかしながら、既存のベンチマークは、特定のタスクタイプ、実行環境、あるいはスコアリングプロトコルに結びついていて、互換性、解釈可能性、デプロイメント決定の信頼性を制限していることが多い。
DAREBench(Deployment-Aware and Reliable Evaluation of Models as Agents)は,ワークロードの変動を捉え,信頼性の高いエージェント評価をサポートするベンチマークである。
DAREBenchは、共有OpenClaw実行環境上に構築され、22のソースベンチマークから選択および適応された233のタスクを、入力モダリティと実行形式で定義された2.\times3$のワークロードマトリックスに編成し、エビデンスベースのスコア監査を備えた統合コントラクトベースのプロトコルで評価する。
我々は、23の商用APIモデルと12のローカルにデプロイされたオープンウェイトモデルについて、7,587のモデル-タスクを実行し、正確さとトークン消費をAPIモデルの参照コストとともに報告する。その結果、単一のモデルがすべてのワークロードグループを支配し、テキストとマルチモーダルタスクは異なる精度でトレードオフを示し、ローカルなオープンウェイトモデルはいくつかのグループで競合するが、全体としてはフロンティアの商用モデルを追い越している。
これらの結果は、エージェントの配置とモデルの選択は、単一の集計スコアに頼るのではなく、ワークロードプロファイル、デプロイメントモード、精度の高いトレードオフを考慮するべきであることを示唆している。
関連論文リスト
- MADE: Belief-Driven Dual-Agent Coordination for Autonomous Model Deployment [19.126846876843356]
LLMベースのエージェントはドメイン固有のタスクに苦労し、外部ツールの統合を動機付けている。
オープンソースコミュニティは、典型的に異質な研究成果物としてリリースされる多数のAIモデルを提供している。
これらをプリ・ツー・コールのAPIに変換するのは費用がかかり、労力がかかる。
本稿では,デュアルエージェント協調システムであるModel Automated Deployment Engine (MADE)を紹介する。
論文 参考訳（メタデータ） (2026-08-02T12:14:43Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - Post-Selection Distributional Model Evaluation [31.006941545235396]
選択後分布モデル評価(PS-DME)
PS-DMEは任意のデータ依存モデル選択後に統計的に有効な分布モデル評価のためのフレームワークである。
結果:PS-DMEは,様々な信頼性レベルの候補構成の信頼性比較を可能にする。
論文 参考訳（メタデータ） (2026-03-24T10:51:30Z) - CreditAudit: 2$^\text{nd}$ Dimension for LLM Evaluation and Selection [44.251742023911135]
CreditAuditはデプロイ指向の信用監査フレームワークで、セマンティックアライメントと非敵対的なシステムプロンプトテンプレートのファミリ下でモデルを評価する。
同様の平均能力を持つモデルは、かなり異なる変動を示し、安定リスクは、エージェントまたは高失敗コストの制度における優先順位決定を覆す可能性があることを示す。
論文 参考訳（メタデータ） (2026-01-23T07:53:25Z) - ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning [103.7657839292775]
ARM-Thinkerはエージェント・マルチモーダル・リワード・モデルであり、検証された証拠で判断を下すために外部ツールを自律的に呼び出す。
ARM-Thinkerを多段階強化学習で訓練し、ツールコール決定と判定精度を協調的に最適化する。
その結果,エージェント能力は報酬モデルの精度と解釈可能性の両方を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-12-04T18:59:52Z) - SpecEval: Evaluating Model Adherence to Behavior Specifications [63.13000010340958]
提供者仕様に対してモデルを監査する自動化フレームワークを導入します。
私たちの中心となる焦点は、プロバイダ仕様とモデルアウトプット、および審査員としての自身のモデルの間の3つの方法の整合性にあります。
当社のフレームワークは、100以上の行動ステートメントにわたる6人の開発者から16のモデルに適用し、プロバイダ間で最大20%のコンプライアンスギャップを含む、体系的な不整合を見つけました。
論文 参考訳（メタデータ） (2025-09-02T16:18:40Z) - Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。
これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-12-09T13:05:43Z) - UniMatch: A Unified User-Item Matching Framework for the Multi-purpose
Merchant Marketing [27.459774494479227]
1つのモデルでアイテムレコメンデーションとユーザターゲティングを同時に行うために,統合されたユーザイテムマッチングフレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して大幅に性能が向上し、計算資源や日々のメンテナンスにかかるコストが大幅に削減された。
論文 参考訳（メタデータ） (2023-07-19T13:49:35Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。