論文の概要: Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
- arxiv url: http://arxiv.org/abs/2610.31066v2
- Date: Wed, 28 Oct 2026 02:34:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.474063
- Title: Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
- Title（参考訳）: Dual Exam:マルチモーダルエージェントと世界モデルの評価制御
- Abstract要約: 本稿では, エージェントを固定環境応答機構下で, エージェントを固定行動介入下で, ワールドモデルでテストするDual Examを紹介する。
エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。
World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
- 参考スコア（独自算出の注目度）: 183.81513687551828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World Models (WMs) can support Multimodal Agents (MAs) through simulated experience, while Agent trajectories can inform World Model refinement. Evaluating this interaction requires separate evidence about action selection and state evolution. We introduce Dual Exam, which tests Agents under fixed environment response mechanisms and World Models under fixed action interventions across physical, digital, social, and scientific domains. The Agent track compares 10 configurations on 1,088 items in 15 reporting categories. The World Model track contains 400 cases across eight scenarios; 15 configurations have full coverage and one covers six scenarios. GPT 6 Astra leads the case-weighted Agent Index at 31.3, and GPT-Image-2 leads the full-coverage WM Overall at 21.7. These scores use different tasks and metrics and are not directly comparable. A 150-case pilot of one coupled pairing records zero task successes and motivates component-level diagnosis. Results reveal uneven task performance and failures to preserve task-relevant state. Their value for predicting coupled success or sustained reciprocal learning remains to be established.
- Abstract（参考訳）: 世界モデル(WM)はマルチモーダルエージェント(MA)をシミュレートすることでサポートでき、エージェントトラジェクトリはワールドモデルの改良を通知することができる。
この相互作用を評価するには、行動選択と状態進化に関する別の証拠が必要である。
本稿では, 物理, デジタル, 社会, 科学領域にまたがる一定の行動介入の下で, エージェントを一定の環境応答機構下で, 世界モデルでテストするDual Examを紹介する。
エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。
World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
GPT 6 Astraは31.3でケース重み付きエージェント指数を、GPT-Image-2は21.7でフルカバーのWMを導いた。
これらのスコアは異なるタスクやメトリクスを使用し、直接的に比較するものではない。
1つの結合ペアリングの150ケースのパイロットは、タスクの成功をゼロに記録し、コンポーネントレベルの診断を動機付ける。
その結果、タスク関連の状態を維持するための不均一なタスクパフォーマンスと障害が明らかになった。
連立の成功を予測したり、相互学習を継続する価値は、まだ確立されていない。
関連論文リスト
- AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - Agentick: A Unified Benchmark for General Sequential Decision-Making Agents [30.028388632526745]
Agentickはシーケンシャルな意思決定エージェントのベンチマークである。
プロシージャで生成されたタスクは6つの機能カテゴリ、難易度レベル4、観察モード5で37になる。
27のコンフィグレーションと90,000以上のエピソードにまたがる評価では、単一のアプローチが支配的でないことが示されている。
論文 参考訳（メタデータ） (2026-05-07T19:12:03Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback [51.22403664895878]
Agent2Worldは、強力な推論時ワールドモデル生成を実現するツール拡張マルチエージェントフレームワークである。
また、マルチエージェントフィードバックの生成を基盤にすることで、教師付き微調整のためのデータエンジンとしても機能する。
論文 参考訳（メタデータ） (2025-12-26T18:54:14Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。