論文の概要: Unified 3D Scene Understanding Through Physical World Modeling

• arxiv url: http://arxiv.org/abs/2605.24321v1
• Date: Sat, 23 May 2026 01:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.930465
• Title: Unified 3D Scene Understanding Through Physical World Modeling
• Title（参考訳）: 物理世界モデリングによる統一3次元シーン理解
• Authors: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins,
• Abstract要約: 本稿では,RGB,光フロー,カメラポーズなどのマルチモーダルシーン要素をノードが表現する確率的グラフィカルモデルとして定式化された,統合された3次元理解とインタラクションのための物理世界モデルを提案する。 3WMは、精密な制御性、強力な幾何整合性、実世界のシナリオでの堅牢性を提供することにより、微調整を必要とせずに、特別なベースラインを上回ります。 このことは、統合モデルが、汎用的な視覚世界モデルに向けて一歩前進して、断片化されたタスク固有システムの実用的な代替として機能できることを実証している。
• 参考スコア（独自算出の注目度）: 10.45277075153122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding 3D scenes requires flexible combinations of visual reasoning tasks, including depth estimation, novel view synthesis, and object manipulation, all of which are essential for perception and interaction. Existing approaches have typically addressed these tasks in isolation, preventing them from sharing a common representation or transferring knowledge across tasks. A conceptually simpler but practically non-trivial alternative is to unify these diverse tasks into a single model, reducing different tasks from separate training objectives to merely different prompts and allowing for joint training across all datasets. In this work, we present a physical world model for unified 3D understanding and interaction (3WM), formulated as a probabilistic graphical model in which nodes represent multimodal scene elements such as RGB, optical flow, and camera pose. Diverse tasks emerge from different inference pathways through the graph: novel view synthesis from RGB and dense flow prompts, object manipulation from RGB and sparse flow prompts, and depth estimation from RGB and camera conditioning, all zero-shot without task-specific training. 3WM outperforms specialized baselines without the need for finetuning by offering precise controllability, strong geometric consistency, and robustness in real-world scenarios, achieving state-of-the-art performance on NVS and 3D object manipulation. Beyond predefined tasks, the model supports composable inference pathways, such as moving objects aside while navigating a 3D environment, enabling complex geometric reasoning. This demonstrates that a unified model can serve as a practical alternative to fragmented task-specific systems, taking a step towards a general-purpose visual world model.
• Abstract（参考訳）: 3Dシーンを理解するには、深度推定、新しいビュー合成、オブジェクト操作など、視覚的推論タスクの柔軟な組み合わせが必要である。 既存のアプローチは通常、これらのタスクを分離して対処し、共通の表現を共有したり、タスク間で知識を伝達するのを防ぐ。 概念的にはシンプルだが、実質的には非自明な代替手段は、これらの多様なタスクを単一のモデルに統合し、異なるトレーニング目標から異なるタスクを単に異なるプロンプトに減らし、すべてのデータセットをまたいだ共同トレーニングを可能にすることである。 本稿では,RGB,光フロー,カメラポーズなどのマルチモーダルなシーン要素をノードが表現する確率的グラフィカルモデルとして定式化した3WMの物理世界モデルを提案する。 RGBと高密度フロープロンプトからの新規ビュー合成、RGBとスパースフロープロンプトからのオブジェクト操作、RGBとカメラコンディショニングからの深さ推定、すべてタスク固有のトレーニングなしでゼロショットである。 3WMは、厳密な制御性、強力な幾何整合性、実世界のシナリオでの堅牢性を提供し、NVSおよび3Dオブジェクト操作の最先端性能を達成することで、微調整を必要とせずに、特別なベースラインを性能良くする。 事前に定義されたタスク以外にも、3D環境をナビゲートしながら物体を横に移動させるような構成可能な推論経路をサポートし、複雑な幾何学的推論を可能にする。 このことは、統合モデルが、汎用的な視覚世界モデルに向けて一歩前進して、断片化されたタスク固有システムの実用的な代替として機能できることを実証している。

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Object-X: Learning to Reconstruct Multi-Modal 3D Object Representations [114.57192386025373]
  Object-Xは多目的なマルチモーダル3D表現フレームワークである。 リッチなオブジェクトの埋め込みをエンコードして、幾何学的および視覚的再構成に復号することができる。 シーンアライメント、シングルイメージの3Dオブジェクト再構成、ローカライゼーションなど、さまざまなダウンストリームタスクをサポートする。
  論文  参考訳（メタデータ） (2025-06-05T09:14:42Z)
• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields [32.200557554874784]
  本稿では,暗黙の3次元表現とニューラルレンダリングの最近の進歩を活用し,シーン理解への新たなアプローチを提案する。 ニューラル・レージアンス・フィールド(NeRF)の大成功を生かして,ネRFを用いたシーン・プロパリティ・シンセサイザーを導入する。 セマンティックセグメンテーション,表面正規推定,リシェーディング,キーポイント検出,エッジ検出など,統合されたフレームワーク下でのさまざまなシーン理解タスクへの対処を容易にする。
  論文  参考訳（メタデータ） (2022-06-09T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。