論文の概要: Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents

• arxiv url: http://arxiv.org/abs/2607.22014v1
• Date: Fri, 24 Jul 2026 06:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.059259
• Title: Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
• Title（参考訳）: 航空機MLLMエージェントのゼロショットミッションレベル評価
• Abstract要約: 航空機3D環境におけるMLLMのミッションレベル評価のためのベンチマークであるMissionBenchを紹介する。 22基のオープンソースおよびクローズドソースMLLMにおいて、最強のモデルは84.4%に比べて35%未満のミッションで成功している。 我々の分析は、ミッションレベルの能力は、空間知覚を超えた複数の能力を調整する必要があることを示している。
• 参考スコア（独自算出の注目度）: 31.4676947294786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) are emerging as core reasoning modules for embodied agents, yet it remains unclear how well general-purpose models can solve long-horizon embodied tasks from a single high-level instruction. We introduce MissionBench, a benchmark for mission-level evaluation of MLLMs in aerial 3D environments. It comprises 120 missions across five simulated 3D environments and four task families. Agents must autonomously plan, navigate, and report outcomes using only egocentric observations and its action history, without aerial-specific fine-tuning. Across 22 open- and closed-source MLLMs, the strongest model succeeds on fewer than 35% of missions compared to 84.4% human performance, highlighting the difficulty of multi-step embodied tasks. Despite large variations between model families, we observe gains from scaling, indicating that larger general-purpose models possess stronger zero-shot embodied capabilities. Our analysis shows that mission-level competence requires coordinating multiple capabilities beyond spatial perception, including multi-step planning and adaptive reasoning. This motivates closed-loop evaluation and highlights both the promise and risk of scaling-driven improvements for embodied AI.
• Abstract（参考訳）: マルチモーダル大規模言語モデル (MLLM) は, エンボディエージェントのコア推論モジュールとして登場している。 航空機3D環境におけるMLLMのミッションレベル評価のためのベンチマークであるMissionBenchを紹介する。 シミュレーションされた5つの3D環境と4つのタスクファミリーに120のミッションがある。 エージェントは、航空固有の微調整なしで、自我中心の観察と行動履歴のみを使用して、自律的に計画し、ナビゲートし、結果を報告しなければならない。 22のオープンソースおよびクローズドソースMLLMにおいて、最強のモデルは84.4%の人的パフォーマンスと比較して35%未満のミッションで成功し、マルチステップの実施の難しさを浮き彫りにした。 モデルファミリ間の大きなばらつきにもかかわらず、スケーリングによる利得を観察し、より大きな汎用モデルがより強力なゼロショットエンボディ能力を有することを示す。 分析の結果、ミッションレベルの能力は、多段階計画や適応推論を含む、空間的知覚を超えた複数の能力を調整する必要があることが示された。 これはクローズドループ評価の動機となり、エンボディAIのスケーリング駆動型改善の約束とリスクの両方を強調している。

関連論文リスト

• The Hierarchy of Agentic Capabilities: Evaluating Frontier Models on Realistic RL Environments [0.11586753333439907]
  本稿では、SurgeのリアルeコマースRL環境における150の職場タスクにおけるフロンティアAIモデルの評価実験について述べる。 我々の分析によると、実世界の展開にはモデルがマスターしなければならないエージェント機能の経験的に派生した階層構造が明らかになっている。 ウィーカーモデルは基本的なツールの使用と計画に苦しむが、強いモデルは明示的な指示以上の文脈推論を必要とするタスクで失敗する。
  論文  参考訳（メタデータ） (2026-01-13T23:49:06Z)
• BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities [61.173773299032746]
  身体能力とは、エージェントが物理的世界を理解し、理解し、相互作用する一連の基本的な能力を指す。 我々は,原子エンボディド能力のMLLMを評価する,包括的できめ細かなベンチマークであるBEARを紹介する。 BEARは、低レベルポインティング、軌跡理解、空間的推論、高レベルプランニングといったタスクを含む、14のドメインにまたがる4,469のインターリーブイメージビデオテキストエントリで構成されている。 我々は,MLLM知覚,3D理解,計画能力を強化するために,事前学習された視覚モデルを統合するマルチモーダル・コンバータブルエージェントであるBEAR-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-09T19:18:36Z)
• Holistic Evaluation of Multimodal LLMs on Spatial Intelligence [81.2547965083228]
  空間情報を用いたマルチモーダルLLMの総合評価のためのEASIを提案する。 われわれはこの調査を8つの主要なベンチマークで実施し、総トークン数は100億を超えている。 実験により、GPT-5は空間知能(SI)において前例のない強みを示すが、(2)多種多様なSIタスクにおいて人的性能に欠けることが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-18T17:55:17Z)
• NavBench: Probing Multimodal Large Language Models for Embodied Navigation [21.787627598744358]
  NavBenchは、ゼロショット設定下でMLLMの実施したナビゲーション機能を評価するためのベンチマークである。 実世界の展開を支援するため,MLLMの出力をロボットアクションに変換するパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-01T14:21:02Z)
• MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence [74.51213082084428]
  MMSI-Benchは、マルチイメージ空間インテリジェンスに特化したVQAベンチマークである。 我々は、大規模な実験を行い、34のオープンソースおよびプロプライエタリMLLMを徹底的に評価する。 最も強力なオープンソースモデルはおよそ30%の精度に達し、OpenAIのo3推論モデルは40%に達し、人間は97%である。
  論文  参考訳（メタデータ） (2025-05-29T17:59:52Z)
• LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
  Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。 このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
  論文  参考訳（メタデータ） (2025-05-21T15:06:59Z)
• MoRE: Unlocking Scalability in Reinforcement Learning for Quadruped Vision-Language-Action Models [34.138699712315]
  本稿では、四足歩行ロボットのためのロボット専門家(MoRE)の混合であるビジョンアクション(VLA)モデルを提案する。 MoREは、複数の低ランク適応モジュールを、密集したマルチモーダルな大規模言語モデルの中で異なる専門家として統合する。 実験によると、MoREは6つの異なるスキルで全てのベースラインを上回り、アウト・オブ・ディストリビューションシナリオにおいて優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T03:13:45Z)
• EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents [63.43699771428243]
  EmbodiedBenchは、視覚駆動型エンボディエージェントを評価するために設計された広範囲なベンチマークである。 我々はEmbodiedBench内のプロプライエタリおよびオープンソースMLLMを24件評価した。 MLLMは高いレベルのタスクで優れるが、低レベルの操作に苦戦し、最高のモデルであるGPT-4oは平均28.9%のスコアしか獲得できなかった。
  論文  参考訳（メタデータ） (2025-02-13T18:11:34Z)
• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。