論文の概要: DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation
- arxiv url: http://arxiv.org/abs/2605.30350v1
- Date: Thu, 28 May 2026 17:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.76276
- Title: DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation
- Title（参考訳）: DynaFLIP:Tri-Modal-Dynamics Guided Representationによるロボット知覚の再考
- Authors: Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang,
- Abstract要約: そこで我々はDynaFLIPを紹介した。DynaFLIPは動作理解を上流の知覚へと押し上げるマルチモーダル事前学習フレームワークである。
ヘテロジニアスな人間とロボットのビデオから画像言語による3Dフロートレーレットを構築し、これらのトレーレットを訓練時間監視として使用し、画像のみのエンコーダを形成する。
この結果から,ロボットの汎用化は,視覚表現の訓練によって,現在存在するものだけでなく,動作中の世界の変化をコード化することで向上することが示唆された。
- 参考スコア（独自算出の注目度）: 54.860960182207236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robot manipulation critically depends on perception that preserves the action-relevant aspects of a scene. Yet most robot learning pipelines are built upon visual encoders pre-trained for static recognition or vision-language alignment, leaving motion understanding to downstream policies. We introduce DynaFLIP, a dynamics-aware multimodal pre-training framework that pushes motion understanding upstream into perception. We construct image-language-3D flow triplets from heterogeneous human and robot videos, and use these triplets as training-time supervision to shape an image-only encoder. Our key idea is to encourage the three modalities to span a small simplex volume in the shared hyperspherical space -- a smaller simplex volume indicating stronger alignment. To avoid the geometric ambiguity and trivial collapse of naive volume minimization, we combine simplex-volume minimization with a cosine regularizer and a contrastive objective. Our analyses show that DynaFLIP focuses on control-relevant regions critical for manipulation. The resulting dynamics-aware representations serve as reusable visual backbones and consistently outperform baselines across diverse downstream policies, including VLAs. We validate this across diverse simulation and real-world setups, with gains reaching +22.5% under out-of-distribution scenarios. Our results suggest that robot generalization improves when visual representations are trained to encode not just what is present, but how the world changes under action.
- Abstract（参考訳）: ロボットの操作は、シーンのアクション関連側面を保存する知覚に依存する。
しかし、ほとんどのロボット学習パイプラインは、静的認識や視覚言語アライメントのために事前訓練されたビジュアルエンコーダの上に構築されており、動作の理解は下流のポリシーに委ねられている。
我々は動的に認識可能なマルチモーダル事前学習フレームワークであるDynaFLIPを紹介した。
ヘテロジニアスな人間とロボットのビデオから画像言語による3Dフロートレーレットを構築し、これらのトレーレットを訓練時間監視として使用し、画像のみのエンコーダを形成する。
私たちのキーとなる考え方は、3つのモダリティが共有超球面空間の小さな単純体積にまたがることを奨励することであり、これはより強いアライメントを示す小さな単純体積である。
数量最小化の幾何学的曖昧さと自明な崩壊を避けるために, 単純体積最小化とコサイン正規化器, コントラスト目的を組み合わせる。
分析の結果,DynaFLIPは操作に重要な制御関連領域に焦点を当てていることがわかった。
結果のダイナミックス対応表現は、再利用可能なビジュアルバックボーンとして機能し、VLAを含むさまざまな下流ポリシーのベースラインを一貫して上回る。
我々は、様々なシミュレーションと現実世界のセットアップにまたがってこれを検証し、アウト・オブ・ディストリビューションのシナリオで+22.5%のゲインを得た。
この結果から,ロボットの汎用化は,視覚表現の訓練によって,現在存在するものだけでなく,動作中の世界の変化をコード化することで向上することが示唆された。
関連論文リスト
- Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。
幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。
動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
論文 参考訳（メタデータ） (2026-05-12T09:21:29Z) - StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception [30.791524912385924]
StereoPolicyは、幾何学的推論を強化するために、同期ステレオ画像ペアを直接活用する、ビジュモータポリシー学習フレームワークである。
本結果は,ロボット操作のための3次元幾何学的理解と2次元事前学習表現を橋渡しする,スケーラブルでロバストなモダリティとしてステレオビジョンを裏付けるものである。
論文 参考訳（メタデータ） (2026-05-11T05:06:12Z) - Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation [57.28703268044067]
ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。
われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
論文 参考訳（メタデータ） (2026-03-22T04:18:54Z) - 3PoinTr: 3D Point Tracks for Robot Manipulation Pretraining from Casual Videos [8.359830715928242]
3PoinTrは、カジュアルで制約のない人間のビデオからロボットポリシーを事前訓練する手法だ。
3PoinTrは、トランスフォーマーアーキテクチャを使用して、3Dポイントトラックを中間的なエンボディメントに依存しない表現として予測する。
3PoinTrは軽量で表現力のあるアーキテクチャのため、より正確で高品質なポイントトラックを生成する。
論文 参考訳（メタデータ） (2026-03-09T15:20:26Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - Zero-Shot Visual Generalization in Robot Manipulation [0.13280779791485384]
現在のアプローチは、しばしば点雲や深さのような不変表現に頼ることで問題を横取りする。
ディアングル型表現学習は、視覚的分布シフトに対して、視覚に基づく強化学習ポリシーを堅牢化できることを最近示した。
シミュレーションおよび実ハードウェア上での視覚摂動に対するゼロショット適応性を示す。
論文 参考訳（メタデータ） (2025-05-16T22:01:46Z) - Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳（メタデータ） (2023-10-04T17:59:38Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。