論文の概要: Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model

• arxiv url: http://arxiv.org/abs/2609.18323v1
• Date: Wed, 16 Sep 2026 08:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.717219
• Title: Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
• Title（参考訳）: MiniMax-H3は物理世界について考えることができるか? -Omni-Modal Generative Modelの評価-
• Abstract要約: MiniMax-H3は、マルチモーダルコンテキスト理解と、共有潜在フレームワークにおける共同音声視覚生成を結合する。 マルチモーダルアライメントはモデルの世界推論を改善することができるのか? この研究は、物理世界推論の4つの相補的な次元を中心に組織された総合的な評価フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 94.662023612079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Omni-Modal Generative Models (Omni-Models) have advanced content generation toward unified modeling of text, images, video, and audio. MiniMax-H3 exemplifies this transition by combining multimodal context understanding with joint audio-visual generation in a shared latent framework. Its unified architecture raises a fundamental question: Can multimodal alignment improve the model's world reasoning, and what new evaluation paradigms do omni-modal inputs enable? To investigate this question, this work introduces a comprehensive evaluation framework organized around four complementary dimensions of physical world reasoning. Unlike existing evaluation frameworks for video generation and world models, which are often constrained by limited input modalities and evaluation settings where prompts closely match the target video content, our evaluation is specifically designed to exploit the multimodal inputs of Omni-Model. We construct a diverse set of novel tasks that require models to integrate complementary information across modalities. Specifically, we consider four scenarios, including implicit prompts paired with multiple frames, audio-image, prefix-videos, and audio-video inputs. Every single modality provides only partial evidence about the underlying event, requiring the model to jointly reason over the complementary semantic cues to infer latent event states and future dynamics. Across 517 evaluation instances, MiniMax-H3 achieves an overall success rate of 41.97%. Video-based Decision Reasoning yields the highest success rate at 56.00%, while Audio-based Disambiguation Reasoning is the weakest, reaching only 27.40%. These results indicate that effective multimodal integration remains key to fully exploiting the benefits of diverse input modalities. The project is available at https://github.com/gulucaptain/MiniMax-H3-Reason.
• Abstract（参考訳）: 最近のOmni-Modal Generative Models (Omni-Models)は、テキスト、画像、ビデオ、オーディオの統一モデリングに向けて、高度なコンテンツ生成を行う。 MiniMax-H3は、マルチモーダルコンテキスト理解と共同音声視覚生成を組み合わせることで、この移行を実証している。 マルチモーダルアライメントは、モデルの世界推論を改善することができるのか、そして、新しい評価パラダイムは、オムニモーダルインプットを可能にするのか? そこで本研究では,物理世界推論の4つの相補的な側面を中心に構成された包括的評価枠組みを導入する。 Omni-Modelのマルチモーダル入力を利用するために,既存の映像生成および世界モデル評価フレームワークは,対象映像コンテンツと密に一致した入力条件や評価設定によって制約されることが多いが,本評価は特に設計されている。 モーダル性にまたがる相補的な情報の統合をモデルに要求する,多種多様なタスクセットを構築した。 具体的には、複数のフレーム、オーディオイメージ、プレフィックスビデオ、オーディオビデオ入力と組み合わせた暗黙のプロンプトを含む4つのシナリオについて考察する。 すべての単一のモダリティは、基礎となる事象に関する部分的な証拠のみを提供し、モデルが潜在事象状態と将来のダイナミクスを推論するために相補的なセマンティックキューを共同で推論する必要がある。 517回の評価で、MiniMax-H3は41.97%の成功率を達成した。 ビデオベースのDecision Reasoningは56.00%、オーディオベースのDisambiguation Reasoningは27.40%である。 これらの結果は, 多様な入力モダリティの利点を十分に活用する上で, 効果的なマルチモーダル統合が依然として重要であることを示唆している。 このプロジェクトはhttps://github.com/gulucaptain/MiniMax-H3-Reason.comで入手できる。

関連論文リスト

• JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
  我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。 最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-14T17:23:21Z)
• UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in Omni Models [22.508414355245275]
  我々は,新しい,高品質で統一されたオムニモデルベンチマーク,UNO-Benchを紹介する。 このベンチマークは、統一された能力分類の下で、UNi-modalとOmni-modalの両方の能力を効果的に評価するために設計されている。 1250人のオムニモダルの培養サンプルと98%のクロスモーダル可溶性、2480の強化されたユニモーダルサンプルを含んでいる。
  論文  参考訳（メタデータ） (2025-10-21T06:14:40Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。