論文の概要: FlowVLA: Enabling World Dynamics Understanding through Pluggable 3D Flow Learning

• arxiv url: http://arxiv.org/abs/2610.16160v1
• Date: Mon, 12 Oct 2026 04:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:22:30.281474
• Title: FlowVLA: Enabling World Dynamics Understanding through Pluggable 3D Flow Learning
• Title（参考訳）: FlowVLA: プラガブルな3Dフロー学習による世界ダイナミクス理解の実現
• Abstract要約: 本稿では,リコンストラクション誘導型3次元フロー学習フレームワークであるFlowVLAを紹介する。 本手法は,訓練時にのみ時間的に整列した3次元流れを利用するように設計されている。 FlowVLAは、操作性能、ゼロショットロバスト性を改善し、データの効率を最適化する。
• 参考スコア（独自算出の注目度）: 7.9383726943090345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in 3D reconstruction enable the extraction of temporally consistent 3D motion from RGB observations; however, current Vision-Language-Action (VLA) models still predominantly rely on 2D image-text priors. Therefore, they do not accurately represent the fundamental dynamics of the 3D world associated with physical actions. This over-reliance on static 2D visual cues limits the capacity of VLA models in achieving robust robot manipulation. To address these limitations, we introduce FlowVLA, a reconstruction-guided, pluggable 3D flow learning framework aimed at empowering VLA models with an inherent understanding of action-relevant dynamics. Instead of requiring explicit 3D sensor inputs or altering the inference-time architecture, our method is designed to utilize temporally aligned 3D flow only during training. This allows the model to learn the dynamic evolution of the physical scene while preserving the computational efficiency of conventional 2D VLA backbones. To bridge scene-level dynamics with robotic manipulation, we propose a modular 3D flow learning framework with dual-level flow supervision. Specifically, point-level flow guides the model to forecast the future displacements of task-critical 3D points, while TCP-level flow aggregates these motions to align with the robot's TCP trajectories. This dual-level flow supervision encourages the model to focus on semantically meaningful dynamic regions, effectively coupling scene-level motion with precise control signals. Extensive evaluations across simulation and real-world experiments demonstrate that FlowVLA consistently improves manipulation performance, zero-shot robustness, and optimizes data efficiency. FlowVLA adds only lightweight auxiliary heads during training and discards them at inference. Therefore, FlowVLA introduces no additional 3D sensor inputs, architectural modifications, or inference-time computation.
• Abstract（参考訳）: 3次元再構成の最近の進歩により、RGB観測から時間的に一貫した3次元運動を抽出することができるが、現在のビジョン・ランゲージ・アクション(VLA)モデルは、主に2次元画像テキストの先行に頼っている。 したがって、それらは物理的行動に関連する3次元世界の基本的なダイナミクスを正確に表現するものではない。 この静的2次元視覚的キューへの過度な依存は、堅牢なロボット操作を実現する上でのVLAモデルの能力を制限する。 これらの制約に対処するために、我々は、動作関連力学の固有の理解でVLAモデルを強化することを目的とした、再構成ガイド付き、プラグ可能な3Dフロー学習フレームワークであるFlowVLAを紹介した。 本手法は, トレーニング時にのみ時間的に整列した3次元流れを利用するように設計されている。 これにより、従来の2次元VLAバックボーンの計算効率を保ちながら、物理シーンの動的進化を学習することができる。 ロボット操作によるシーンレベルのダイナミクスを橋渡しするために,デュアルレベルのフロー管理を備えたモジュール型3次元フロー学習フレームワークを提案する。 特に、ポイントレベルのフローは、タスククリティカルな3Dポイントの将来の変位を予測するためにモデルをガイドし、TCPレベルのフローは、ロボットのTCP軌道に合わせるためにこれらの動きを集約する。 この二重レベルフローの監督は、シーンレベルの動きと正確な制御信号とを効果的に結合し、意味論的に意味のある動的領域に焦点を合わせることを奨励する。 シミュレーションと実世界の実験による大規模な評価は、FlowVLAが一貫して操作性能、ゼロショットの堅牢性を改善し、データ効率を最適化していることを示している。 FlowVLAはトレーニング中に軽量な補助ヘッドのみを追加し、推論時に破棄する。 そのため、FlowVLAは追加の3Dセンサー入力、アーキテクチャの変更、推論時間計算を導入しない。

関連論文リスト

• Explicit Kinematic Guidance from Analytic Concepts for Vision-Language-Action Models [67.98329043920803]
  現在のヴィジュアル・ランゲージ・アクション(VLA)モデルは、主に2次元入力に依存し、リッチなオブジェクト構造情報や3次元物理世界固有のコモンセンス知識を無視している。 この欠損は、複雑な高精度な操作に対する空間的認識と適応性を制限する。 VLAのためのConcept Expertモジュールを構築し、オブジェクトを明示的でプログラム的な青写真として表現する実行可能なAnalytic Conceptを構築する。
  論文  参考訳（メタデータ） (2026-07-29T06:24:25Z)
• Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
  We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。 我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
  論文  参考訳（メタデータ） (2026-07-07T17:59:47Z)
• Semantic Causality-Aware Vision-Based 3D Occupancy Prediction [63.752869043357585]
  視覚に基づく3Dセマンティック占有予測は、3Dビジョンにおいて重要な課題である。 しかし、既存のメソッドは、しばしばモジュラーパイプラインに依存している。 本稿では,モジュール型2D-to-3Dトランスフォーメーションパイプラインの全体的,エンドツーエンドの監視を可能にする新たな因果損失を提案する。
  論文  参考訳（メタデータ） (2025-09-10T08:29:22Z)
• ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
  シーン理解には3次元セマンティック占有とフロー予測が不可欠である。 本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。 我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction [14.866463843514156]
  Occ Flowは、カメラ入力のみを使用して、関節の3D占有率と占有率の予測を行う最初の自己教師型作業である。 我々のアプローチは、動的オブジェクトの依存関係をキャプチャするために、新しい注意に基づく時間融合モジュールを組み込んでいる。 本手法は3次元容積流れ場に微分可能レンダリングを拡張する。
  論文  参考訳（メタデータ） (2024-07-10T12:20:11Z)
• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• Hierarchical Attention Learning of Scene Flow in 3D Point Clouds [28.59260783047209]
  本稿では,2つの連続する3次元点雲からのシーンフロー推定の問題について検討する。 隣接フレームにおける点特徴の相関を学習するために, 二重注意を有する新しい階層型ニューラルネットワークを提案する。 実験の結果,提案したネットワークは3次元シーンフロー推定の最先端性能より優れていた。
  論文  参考訳（メタデータ） (2020-10-12T14:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。