論文の概要: OmniFysics-Nano-V2 Technical Report: Understanding the Physical World Across Modalities

• arxiv url: http://arxiv.org/abs/2609.25738v1
• Date: Tue, 22 Sep 2026 06:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.238991
• Title: OmniFysics-Nano-V2 Technical Report: Understanding the Physical World Across Modalities
• Title（参考訳）: OmniFysics-Nano-V2 Technical Report: Understanding the Physical World around Modalities
• Abstract要約: OmniFysics-Nano-V2は、物理世界の知覚と理解のためのコンパクトなオムニモーダルモデルである。 このモデルは、共有推論フレームワーク内で、画像、ビデオ、オーディオ、音声、テキスト入力をサポートする。 実験により、提案したデータとトレーニング戦略は、広義のオムニ・モーダル能力を維持しながら、物理世界の理解を改善することが示された。
• 参考スコア（独自算出の注目度）: 49.855412713247524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omni-modal models have expanded multimodal interaction across vision, audio, speech, and language. However, their training is predominantly organized around semantic descriptions and general-purpose objectives, leaving physical attributes, interaction states, and causal mechanisms only partially specified. This gap is not simply a matter of modality coverage: adding more modalities does not by itself provide the supervision needed to connect observations with the physical structure of the world. We present OmniFysics-Nano-V2, a compact omni-modal model for physical-world perception and understanding. The model supports image, video, audio, speech, and text inputs within a shared reasoning framework, together with text and speech generation. To address the lack of explicit physical supervision, we construct a dual-branch physics-aware data pipeline that grounds salient objects in structured physical attributes and aligns visual changes with acoustic events, intermediate responses, and interaction outcomes. To address homogeneous training objectives, we curate reinforcement-learning prompts by reward diversity and adopt a two-stage Group Relative Policy Optimization curriculum that progresses from general task correctness to fine-grained physical perceptual reasoning. Experiments across multimodal, audio-visual, and physical reasoning benchmarks show that the proposed data and training strategy improves physical-world understanding while preserving broad omni-modal competence. The proposed model achieves leading result on 17 of 21 benchmarks against SOTA omni-modal models. By equipping AI systems with both omni-modal and physical-world perception capabilities, OmniFysics-Nano-V2 is poised to become a cornerstone of next-generation Physical AI.
• Abstract（参考訳）: オムニモーダルモデルは、視覚、音声、音声、言語間でのマルチモーダルインタラクションを拡張した。 しかし、それらのトレーニングは主に意味的記述と汎用目的を中心に組織されており、物理的属性、相互作用状態、因果的メカニズムは部分的にのみ特定されている。 このギャップは単にモダリティのカバレッジの問題ではなく、より多くのモダリティを追加することは、それ自体が世界の物理構造と観測を結びつけるのに必要な監督を提供するものではない。 OmniFysics-Nano-V2は、物理世界の知覚と理解のためのコンパクトなオムニモーダルモデルである。 このモデルは、画像、ビデオ、音声、音声、テキスト入力を、テキストおよび音声生成とともに共有推論フレームワーク内でサポートする。 本研究は, 物理特性に有意な物体を接地し, 視覚的変化を音響的事象, 中間応答, 相互作用結果と整合させる2分岐物理対応データパイプラインを構築した。 均質なトレーニング目標を達成するために,多様性を報奨して強化学習のプロンプトをキュレートし,一般的なタスクの正しさから微粒な物理的知覚的推論へと進展する2段階のグループ相対政策最適化のカリキュラムを採用する。 マルチモーダル・オーディオ・ビジュアル・物理推論のベンチマークによる実験から、提案したデータとトレーニング戦略は、広義のオムニ・モーダル能力を維持しながら、物理世界の理解を改善することが示されている。 提案モデルでは,SOTA omni-modal モデルに対して,21ベンチマーク中17ベンチマークで先行結果が得られた。 OmniFysics-Nano-V2は、オムニモダルと物理世界の両方の知覚能力を備えたAIシステムを備えることで、次世代の物理AIの基礎となる。

関連論文リスト

• Exploring Physical Intelligence Emergence via Omni-Modal Architecture and Physical Data Engine [50.62040226184694]
  我々はOmniFysicsについて紹介する。OmniFysicsは、画像、音声、ビデオ、テキスト間の理解を統一するコンパクトなオムニモーダルモデルである。 明示的な物理知識を注入するために、2つのコンポーネントからなる物理データエンジンを構築します。 実験は、標準マルチモーダルベンチマークにおける競合性能を示し、物理指向評価の結果を改善した。
  論文  参考訳（メタデータ） (2026-02-05T14:04:51Z)
• PAI-Bench: A Comprehensive Benchmark For Physical AI [70.22914615084215]
  ビデオ生成モデルは、物理的に一貫性のあるダイナミクスを維持するのに苦労することが多い。 マルチモーダルな大言語モデルは、予測と因果解釈において限られた性能を示す。 これらの観測は、現在のシステムは、物理AIの知覚的および予測的要求を扱う初期段階にあることを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T18:47:39Z)
• VibraVerse: A Large-Scale Geometry-Acoustics Alignment Dataset for Physically-Consistent Multimodal Learning [17.790063818997975]
  VibraVerseは3次元形状から物理的属性、モーダルパラメータ、音響信号から因果連鎖をブリッジする大規模なデータセットである。 CLASPは、オブジェクトの物理的構造と音響応答の間の因果関係を保存する、クロスモーダルアライメントのための対照的な学習フレームワークである。 VibraVerseをベースとして、幾何から音への予測、音響誘導形再構成、モーダル表現学習のためのベンチマークタスクスイートを定義する。
  論文  参考訳（メタデータ） (2025-11-25T15:48:49Z)
• End-to-end Listen, Look, Speak and Act [22.047534228540783]
  ELLSAは、より自然で一般的な対話型人工知能への一歩であり、人工知能の幅広い追求に寄与している。 中心となるのはSA-MoE(Attention Mixture-of-Experts)で、それぞれのモダリティを専門の専門家にルーティングすることで、統一された注意バックボーンを通じてそれらを融合させる。
  論文  参考訳（メタデータ） (2025-10-19T08:45:46Z)
• OmniVLA: An Omni-Modal Vision-Language-Action Model for Robot Navigation [49.66156306240961]
  視覚に基づくナビゲーションのためのオムニモーダル目標条件付けを可能にするロボット基礎モデルのトレーニングフレームワークを提案する。 提案手法は,高容量な視覚-言語-アクションバックボーンと,3つの主要目標モードを持つトレーニングを利用する。 我々は、OmniVLAが、モダリティにまたがるスペシャリストのベースラインを上回り、新しいモダリティやタスクに微調整するための柔軟な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-09-23T18:40:29Z)
• Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [83.0622534215881]
  本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
  論文  参考訳（メタデータ） (2025-02-26T17:26:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。