論文の概要: Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models
- arxiv url: http://arxiv.org/abs/2503.23271v1
- Date: Sun, 30 Mar 2025 01:25:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.026648
- Title: Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models
- Title（参考訳）: 状態拡散と逆ダイナミクスモデルを用いた協調的2次元マニピュレーション政策の学習
- Authors: Haonan Chen, Jiaming Xu, Lily Sheng, Tianchen Ji, Shuijing Liu, Yunzhu Li, Katherine Driggs-Campbell,
- Abstract要約: 我々は人間の操作戦略の予測的性質をロボット模倣学習に注入する。
我々は,将来の状態を予測し,予測状態を達成するロボット動作を計算するために拡散モデルを訓練する。
我々のフレームワークは、常に最先端のステート・ツー・アクション・マッピングポリシーを上回ります。
- 参考スコア（独自算出の注目度）: 22.826115023573205
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: When performing tasks like laundry, humans naturally coordinate both hands to manipulate objects and anticipate how their actions will change the state of the clothes. However, achieving such coordination in robotics remains challenging due to the need to model object movement, predict future states, and generate precise bimanual actions. In this work, we address these challenges by infusing the predictive nature of human manipulation strategies into robot imitation learning. Specifically, we disentangle task-related state transitions from agent-specific inverse dynamics modeling to enable effective bimanual coordination. Using a demonstration dataset, we train a diffusion model to predict future states given historical observations, envisioning how the scene evolves. Then, we use an inverse dynamics model to compute robot actions that achieve the predicted states. Our key insight is that modeling object movement can help learning policies for bimanual coordination manipulation tasks. Evaluating our framework across diverse simulation and real-world manipulation setups, including multimodal goal configurations, bimanual manipulation, deformable objects, and multi-object setups, we find that it consistently outperforms state-of-the-art state-to-action mapping policies. Our method demonstrates a remarkable capacity to navigate multimodal goal configurations and action distributions, maintain stability across different control modes, and synthesize a broader range of behaviors than those present in the demonstration dataset.
- Abstract（参考訳）: 洗濯などの作業を行うとき、人間は自然に両手を調整して物を操作し、服の状態がどう変わるかを予測する。
しかし、ロボット工学におけるこのような協調を実現するには、物体の動きをモデル化し、将来の状態を予測し、正確なバイマニュアル動作を生成する必要があるため、依然として困難である。
本研究では,人間の操作戦略の予測的性質をロボット模倣学習に注入することにより,これらの課題に対処する。
具体的には,タスク関連状態遷移をエージェント固有の逆ダイナミクスモデリングから切り離して,効果的な双方向協調を可能にする。
実演データセットを用いて拡散モデルをトレーニングし、過去の観測結果から将来の状態を予測し、シーンがどのように進化するかを想定する。
次に、予測状態を達成するロボット動作を計算するために、逆ダイナミクスモデルを用いる。
私たちのキーとなる洞察は、オブジェクトの動きをモデリングすることで、双方向の調整操作タスクのためのポリシーを学ぶのに役立ちます。
マルチモーダルな目標設定、バイマダルな操作、変形可能なオブジェクト、マルチオブジェクト設定など、さまざまなシミュレーションや実世界の操作設定にまたがってフレームワークを評価することで、最新の状態からアクションへのマッピングポリシを一貫して上回ります。
提案手法は,マルチモーダル目標の設定と動作分布をナビゲートし,異なる制御モード間の安定性を維持し,実演データセットよりも広い範囲の動作を合成する能力を示す。
関連論文リスト
- Action Flow Matching for Continual Robot Learning [57.698553219660376]
ロボット工学における継続的な学習は、変化する環境やタスクに常に適応できるシステムを求める。
本稿では,オンラインロボット力学モデルアライメントのためのフローマッチングを利用した生成フレームワークを提案する。
ロボットは,不整合モデルで探索するのではなく,行動自体を変換することで,より効率的に情報収集を行う。
論文 参考訳（メタデータ） (2025-04-25T16:26:15Z) - Embodied Chain of Action Reasoning with Multi-Modal Foundation Model for Humanoid Loco-manipulation [17.449836528972867]
本稿では,ヒューマノイド・ロコ・マニピュレーションのためのテキスト・インストラクションからアクションを自律的に計画するために,行動推論手法の具体的連鎖を適用した新しい枠組みを提案する。
提案手法は,人型特有の思考方法論の連鎖を組み込んだもので,作業の細部や体の動きを解析し,作業の行程を移動行動と操作行動の連続に分解する。
本手法が上下半身制御における有効性を評価し,人間の指示を理解する上でのロボット行動推論戦略の連鎖の有効性を実証した。
論文 参考訳（メタデータ） (2025-04-13T11:37:32Z) - Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation [16.244250979166214]
Generalizable Planning-Guided Diffusion Policy Learning (GLIDE)は、コンタクトリッチな双方向操作タスクを解決するためのアプローチである。
本稿では,特徴抽出,タスク表現,行動予測,データ拡張における重要な設計オプションのセットを提案する。
本手法は, 多様な地形, 寸法, 物理的特性の物体を効果的に操作することができる。
論文 参考訳（メタデータ） (2024-12-03T18:51:39Z) - Learning Goal-oriented Bimanual Dough Rolling Using Dynamic Heterogeneous Graph Based on Human Demonstration [19.74767906744719]
ソフトオブジェクト操作はロボットにとって重要な課題であり、状態表現と操作ポリシー学習に効果的な技術を必要とする。
本研究では,目標指向のソフトオブジェクト操作ポリシーを学習するための動的ヘテロジニアスグラフベースモデルを提案する。
論文 参考訳（メタデータ） (2024-10-15T16:12:00Z) - RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。
提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。
我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
論文 参考訳（メタデータ） (2024-07-01T16:08:37Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T23:59:09Z) - CLOUD: Contrastive Learning of Unsupervised Dynamics [19.091886595825947]
コントラスト推定により、完全に教師のない方法で前方・逆ダイナミクスを学習することを提案する。
目標指向計画や観察からの模倣など,さまざまなタスクにまたがるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-23T15:42:57Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。