Fugu-MT 論文翻訳(概要): GeomVLA: Unifying Scene, Motion, and Action in 3D

論文の概要: GeomVLA: Unifying Scene, Motion, and Action in 3D

arxiv url: http://arxiv.org/abs/2609.13812v2
Date: Tue, 15 Sep 2026 19:55:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:53.397645
Title: GeomVLA: Unifying Scene, Motion, and Action in 3D
Title（参考訳）: GeomVLA:3Dのシーン、モーション、アクションを統一する
Abstract要約: ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
参考スコア（独自算出の注目度）: 21.79752613135453
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present GeomVLA, a Vision-Language-Action (VLA) model that unifies perception, latent scene motion prediction, and action generation within a shared robot-centric 3D coordinate frame. Our approach lifts pretrained VLM features into spatially grounded 3D scene tokens using depth and camera calibration, while retaining the semantic representations learned during VLM pretraining. We further introduce a 3D Scene Trajectory Denoiser, a task-conditioned module that learns a latent representation of how scene points are expected to move in 3D. Rather than executing the predicted trajectory as an open-loop plan, GeomVLA extracts intermediate motion tokens from the trajectory denoiser and uses them to condition a 3D flow-based action denoiser through geometry-aware attention. GeomVLA achieves state-of-the-art performance on CALVIN, competitive performance on LIBERO and RoboTwin2.0, and outperforms strong baselines in real-world manipulation settings without robot-action pretraining. Extensive ablations show that future-motion reasoning alone is insufficient: the primary gains are associated with maintaining geometric consistency among scene representation, motion prediction, and robot actions throughout the perception-to-action pipeline.
Abstract（参考訳）: ロボット中心の3次元座標フレーム内での知覚、潜在シーンの動き予測、行動生成を統一するビジョン・ランゲージ・アクション(VLA)モデルであるGeomVLAを提案する。提案手法は,VLMプリトレーニング中に学習した意味表現を維持しつつ,深度とカメラキャリブレーションを用いて空間的に接地された3次元シーントークンに,事前学習したVLM特徴を持ち上げる。さらに,3Dでシーンポイントが動き出す様子の潜在表現を学習するタスク条件付きモジュールである3D Scene Trajectory Denoiserを導入する。予測された軌道をオープンループ計画として実行する代わりに、GeomVLAは軌道デノイザから中間運動トークンを抽出し、幾何学的注意を通して3次元フローベースのアクションデノイザを条件付ける。 GeomVLAは、CALVINの最先端のパフォーマンス、LIBEROとRoboTwin2.0の競争性能を達成し、ロボットアクション事前トレーニングなしで現実世界の操作設定において強力なベースラインを上回ります。先進的な推論だけでは不十分であり、主要な利得は、シーン表現、モーション予測、ロボット行動の幾何的整合性を維持することに関係している。

関連論文リスト

WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN [53.419929910272735]
連続VLNのための3次元シーン条件付き生成ワールドナビゲーションモデルWNM-3Dを提案する。凍結フィードフォワード幾何エンコーダは、過去の観測を永続的なシーンコンテキストに統合するために、単眼の自我中心のRGB履歴から幾何認識表現を抽出する。ブロック因果的注意を通じて、この接頭辞は将来のビデオアクションブロックの全てを条件とし、将来のビューとアクション生成の両方のための共有幾何学的コンテキストを提供する。
論文参考訳（メタデータ） (2026-08-07T14:29:00Z)
Ego-Human Motion Prediction with 3D-Aware LLM [51.5064259568401]
Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2026-07-08T04:51:24Z)
Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
論文参考訳（メタデータ） (2026-07-07T17:59:47Z)
WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文参考訳（メタデータ） (2026-06-12T02:49:34Z)
3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training [19.5808550016589]
3次元幾何学的知覚と3次元空間的推論は、異なる特徴階層で切り離され、注入される異なる能力である。本稿では,視覚言語行動モデル(VLA)が行動予測中に暗黙的に3次元空間推論を行うことを可能にする3次元思考誘導協調学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-06-03T04:34:07Z)
OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation [41.754765514902736]
本稿では,中間表現と作用空間を$SE(3)$ trajectory predictionで整列するビジュモータポリシーを提案する。 OASISは、3D対応の機能エンコーダを結合し、視覚言語とメートル法深度機能を$SE(3)$ trajectory predictorで融合する。 OASISは、VLAとWAMのベースラインを成功率とアウト・オブ・ディストリビューションの一般化で上回っている。
論文参考訳（メタデータ） (2026-05-25T13:28:33Z)
StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文参考訳（メタデータ） (2026-02-27T06:43:37Z)
Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文参考訳（メタデータ） (2026-02-23T11:00:08Z)
CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining [4.039082584778385]
3次元多視点動作記述型ロボットマニピュレーション事前学習(CLAMP)のコントラスト学習について紹介する。 RGB-D画像とカメラ外部画像から計算した統合点雲から、深度と3次元座標によるマルチビュー4チャンネル画像観察を再レンダリングした。事前訓練されたエンコーダは、オブジェクトの幾何学的および位置的情報とロボットのアクションパターンを関連付けることを学習する。
論文参考訳（メタデータ） (2026-01-31T23:32:54Z)
REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文参考訳（メタデータ） (2025-10-13T12:37:59Z)
GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation [47.471097712217386]
既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。本稿では,ガウスアクション場(GAF)を介して動作認識4D表現から直接行動推論を可能にするV-4D-Aフレームワークを採用する。実験では、+11.5385 dB PSNR、+0.3864 SSIM、-0.5574 LPIPSの改善を達成し、平均+7.3%の成功を上げた。
論文参考訳（メタデータ） (2025-06-17T02:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。