論文の概要: GAF: Gaussian Action Field as a Dynamic World Model for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2506.14135v2
• Date: Mon, 23 Jun 2025 06:02:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 12:48:19.118482
• Title: GAF: Gaussian Action Field as a Dynamic World Model for Robotic Manipulation
• Title（参考訳）: GAF:ロボットマニピュレーションのための動的世界モデルとしてのガウス作用場
• Authors: Ying Chai, Litao Deng, Ruizhi Shao, Jiajun Zhang, Liangjun Xing, Hongwen Zhang, Yebin Liu,
• Abstract要約: 既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。 ガウスアクション場(GAF)を用いた動き認識4D表現から直接のアクション推論を可能にするビジョン・ツー・4D・ツー・アクションフレームワークを提案する。 実験では、+11.5385 dB PSNRと-0.5574 LPIPSの改善を達成し、ロボット操作タスクにおける平均成功率を10.33%向上させた。
• 参考スコア（独自算出の注目度）: 35.25620666966874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate action inference is critical for vision-based robotic manipulation. Existing approaches typically follow either a Vision-to-Action (V-A) paradigm, predicting actions directly from visual inputs, or a Vision-to-3D-to-Action (V-3D-A) paradigm, leveraging intermediate 3D representations. However, these methods often struggle with action inaccuracies due to the complexity and dynamic nature of manipulation scenes. In this paper, we propose a Vision-to-4D-to-Action (V-4D-A) framework that enables direct action reasoning from motion-aware 4D representations via a Gaussian Action Field (GAF). GAF extends 3D Gaussian Splatting (3DGS) by incorporating learnable motion attributes, allowing simultaneous modeling of dynamic scenes and manipulation actions. To learn time-varying scene geometry and action-aware robot motion, GAF supports three key query types: reconstruction of the current scene, prediction of future frames, and estimation of initial action via robot motion. Furthermore, the high-quality current and future frames generated by GAF facilitate manipulation action refinement through a GAF-guided diffusion model. Extensive experiments demonstrate significant improvements, with GAF achieving +11.5385 dB PSNR and -0.5574 LPIPS improvements in reconstruction quality, while boosting the average success rate in robotic manipulation tasks by 10.33% over state-of-the-art methods. Project page: http://chaiying1.github.io/GAF.github.io/project_page/
• Abstract（参考訳）: 正確な行動推論は視覚に基づくロボット操作に不可欠である。 既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。 しかし、これらの手法は、操作シーンの複雑さと動的な性質のために、アクション不正確さに悩まされることが多い。 本稿では,ガウス的行動場(GAF)を経由した動作認識4D表現から直接の行動推論を可能にする,V-4D-to-A(Vision-to-4D-A)フレームワークを提案する。 GAFは、学習可能なモーション属性を組み込むことで、3Dガウススプレイティング(3DGS)を拡張し、ダイナミックシーンと操作動作の同時モデリングを可能にする。 時間変化のあるシーン形状とアクション対応ロボットの動きを学習するために、GAFは現在のシーンの再構築、将来のフレームの予測、ロボットモーションによる初期動作の推定という3つの重要なクエリタイプをサポートする。 さらに、GAFが生成する高品質な電流フレームと将来のフレームは、GAF誘導拡散モデルによる操作動作の洗練を促進する。 大規模な実験では、GAFが+11.5385 dB PSNRと-0.5574 LPIPSの改善を達成し、ロボット操作タスクの平均成功率は10.33%向上した。 プロジェクトページ: http://chaiying1.github.io/GAF.github.io/project_page/

関連論文リスト

• DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
  Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。 動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。 最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• OG-VLA: 3D-Aware Vision Language Action Model via Orthographic Image Generation [68.11862866566817]
  3D対応のポリシーは、精密なロボット操作タスクにおいて最先端のパフォーマンスを実現するが、見えない指示、シーン、オブジェクトへの一般化に苦慮している。 我々は,視覚言語行動モデル(VLA)の一般化強度と3D対応ポリシーの堅牢性を組み合わせた,新しいアーキテクチャと学習フレームワークであるOG-VLAを紹介する。
  論文  参考訳（メタデータ） (2025-06-01T22:15:45Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• ManiTrend: Bridging Future Generation and Action Prediction with 3D Flow for Robotic Manipulation [11.233768932957771]
  3次元流れは、シーン内の3次元粒子の動きの傾向を表す。 ManiTrendは3D粒子、視覚観察、操作動作のダイナミクスをモデル化する統合フレームワークである。 提案手法は最先端の性能を高い効率で達成する。
  論文  参考訳（メタデータ） (2025-02-14T09:13:57Z)
• Prediction with Action: Visual Policy Learning via Joint Denoising Process [14.588908033404474]
  PADは、画像予測とロボットアクションを統合する視覚ポリシー学習フレームワークである。 DiTは画像とロボット状態をシームレスに統合し、将来の画像とロボット動作の同時予測を可能にする。 Padは従来の手法よりも優れており、Metaworldのベンチマークで26.3%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-11-27T09:54:58Z)
• SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
  動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。 我々の手法は、品質と効率の両面で既存の手法を超越している。 動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
  論文  参考訳（メタデータ） (2024-04-04T18:05:18Z)
• Learning Continuous Grasping Function with a Dexterous Hand from Human Demonstrations [7.733935820533302]
  提案したモデルであるContinuous Grasping Function (CGF) を命名する。 CGFは3次元人間の実演を用いた変分オートエンコーダによる生成的モデリングによって学習される。 従来の計画アルゴリズムと比較して、CGFはより効率的であり、実のアレグロハンドでグリーピングする際の成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-11T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。