論文の概要: VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2511.17199v1
- Date: Fri, 21 Nov 2025 12:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-24 18:08:19.013292
- Title: VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation
- Title（参考訳）: VLA-4D:空間的コヒーレントなロボットマニピュレーションのためのビジョン・ランゲージ・アクションモデルへの4次元認識の埋め込み
- Abstract要約: 時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。
視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。
この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
- 参考スコア（独自算出の注目度）: 54.81449795163812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは一般的なロボット作業の可能性を示しているが、微細な表現を必要とする時空間的コヒーレントな操作には依然として挑戦的である。
通常、既存の方法では、アクションの空間的精度を高めるために3D位置を視覚表現に埋め込む。
しかし,これらの手法は行動実行に対する時間的コヒーレントな制御を実現するのに苦慮している。
本研究では,時空間コヒーレントなロボット操作のための4次元認識型汎用VLAモデルであるVLA-4Dを提案する。
私たちのモデルは2つの重要な設計でガイドされています。
1)4次元視覚表現。
視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。
2)時空間行動表現
従来の空間的行動表現を時空間情報で拡張し、時空間計画を可能にし、時空間的行動予測のために多モーダル表現をLLMに整列させる。
この統合された枠組みの中で、デザインされた視覚的および行動的表現は、空間的に滑らかで時間的に一貫性のあるロボット操作を共同で作成する。
さらに、VLAデータセットを時間的アクションアノテーションで拡張し、モデルを微調整する。
ロボット操作のさまざまなタスクにまたがって,本手法の優位性を検証するため,大規模な実験が実施されている。
関連論文リスト
- 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields [35.51443781145251]
World Action Models (WAM) は、ビデオ予測とアクション生成を共同でモデル化する。
WAMは2Dピクセル空間でビデオを表現するのが一般的で、ロボットアクションが実行される3D空間との表現ギャップを生じる。
最近の3Dアプローチでは3D情報を導入しているが、3D構造のダイナミクスを完全に活用できない。
本研究では,WAMに3次元軌道場から知識を注入するモデルに依存しないトレーニング戦略である4D-WAMを提案する。
論文 参考訳（メタデータ） (2026-08-08T09:11:05Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - Text-Guided 6D Object Pose Rearrangement via Closed-Loop VLM Agents [52.53348718474685]
VLM(Vision-Language Models)は、強力な視覚的推論能力を持つが、3D理解に苦慮している。
この閉ループプロセスに不可欠な3つの推論時間手法を導入する。
本手法は,対象物体のテキスト誘導目標6Dポーズの予測において,従来の手法を超越した手法である。
論文 参考訳（メタデータ） (2026-04-10T18:06:02Z) - ST-VLA: Enabling 4D-Aware Spatiotemporal Understanding for General Robot Manipulation [33.92613503473177]
本稿では,3D-4Dの統一表現を用いた3D-4D表現を提案する。
STHumanは,14,300kエピソード,注釈付き2D,3D,4Dコンテキストを備えた大規模ヒューマン操作データセットである。
RLBenchと実世界の操作タスクの実験は、手法が最先端のベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-03-14T06:36:48Z) - Pri4R: Learning World Dynamics for Vision-Language-Action Models with Privileged 4D Representation [58.21084913574353]
我々は,世界力学を暗黙的に理解したVモデルを実現するシンプルなアプローチであるPri4Rを紹介する。
Pri4Rは、VLAモデルを軽量なポイントトラックヘッドで拡張し、3Dポイントトラックを予測する。
このような課題に対して,Pri4Rは性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2026-03-02T07:23:53Z) - StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。
我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文 参考訳（メタデータ） (2026-02-27T06:43:37Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation [47.471097712217386]
既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。
本稿では,ガウスアクション場(GAF)を介して動作認識4D表現から直接行動推論を可能にするV-4D-Aフレームワークを採用する。
実験では、+11.5385 dB PSNR、+0.3864 SSIM、-0.5574 LPIPSの改善を達成し、平均+7.3%の成功を上げた。
論文 参考訳（メタデータ） (2025-06-17T02:55:20Z) - LLaVA-4D: Embedding SpatioTemporal Prompt into LMMs for 4D Scene Understanding [55.81291976637705]
視覚的4Dシーン理解のための時間的プロンプトを備えた汎用LMMフレームワークを提案する。
このプロンプトは、3D位置と1D時間を動的に認識された4D座標埋め込みに符号化することで生成される。
4次元シーン理解において,異なるタスクにまたがる手法の有効性を実証するために実験を行った。
論文 参考訳（メタデータ） (2025-05-18T06:18:57Z) - OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving [62.54220021308464]
自律運転のための3次元世界開発をシミュレートするために,拡散型4次元占有率生成モデルOccSoraを提案する。
OccSoraは、正確な3Dレイアウトと時間的一貫性を備えた16sビデオを生成し、運転シーンの空間的および時間的分布を理解する能力を示す。
論文 参考訳（メタデータ） (2024-05-30T17:59:42Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。
本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。
本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
論文 参考訳（メタデータ） (2020-11-03T19:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。