論文の概要: Affordance-based Robot Manipulation with Flow Matching

• arxiv url: http://arxiv.org/abs/2409.01083v3
• Date: Wed, 04 Dec 2024 16:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:04:34.138966
• Title: Affordance-based Robot Manipulation with Flow Matching
• Title（参考訳）: フローマッチングによるアフォーマンス型ロボット操作
• Authors: Fan Zhang, Michael Gienger,
• Abstract要約: 本稿では,ロボット操作支援のためのフレームワークを提案する。 第1に,大規模モデルを下流シーンの空き時間理解タスクに効果的に適用し,第2に,視覚的空き時間モデルに基づいて,効果的にロボット軌道を学習する。 本フレームワークは,ロボット操作のためのフローマッチングにより,相性モデル学習と軌道生成をシームレスに統合する。
• 参考スコア（独自算出の注目度）: 6.863932324631107
• License:
• Abstract: We present a framework for assistive robot manipulation, which focuses on two fundamental challenges: first, efficiently adapting large-scale models to downstream scene affordance understanding tasks, especially in daily living scenarios where gathering multi-task data involving humans requires strenuous effort; second, effectively learning robot trajectories by grounding the visual affordance model. We tackle the first challenge by employing a parameter-efficient prompt tuning method that prepends learnable text prompts to the frozen vision model to predict manipulation affordances in multi-task scenarios. Then we propose to learn robot trajectories guided by affordances in a supervised Flow Matching method. Flow matching represents a robot visuomotor policy as a conditional process of flowing random waypoints to desired robot trajectories. Finally, we introduce a real-world dataset with 10 tasks across Activities of Daily Living to test our framework. Our extensive evaluation highlights that the proposed prompt tuning method for learning manipulation affordance with language prompter achieves competitive performance and even outperforms other finetuning protocols across data scales, while satisfying parameter efficiency. Learning multi-task robot trajectories with flow matching policy also leads to consistently better results than alternative behavior cloning methods, including marginally better generalization performance and prominently faster inference than diffusion policy with DDPM. Our framework seamlessly unifies affordance model learning and trajectory generation with flow matching for robot manipulation.
• Abstract（参考訳）: 本稿では,人間を含むマルチタスクデータを収集する場合,特に日常の生活環境において,視覚的空き時間モデルに基づいて,ロボットの軌道を効果的に学習する,という2つの基本的な課題に焦点を当てた支援ロボット操作の枠組みを提案する。 学習可能なテキストを凍結視覚モデルにプリペイドするパラメータ効率の高いプロンプトチューニング手法を用いて,マルチタスクシナリオにおける操作能力の予測を行う。 そこで本研究では,教師付きフローマッチング手法を用いて,ロボットの軌道を手頃な価格で案内する手法を提案する。 フローマッチングは、望まれるロボット軌道にランダムなウェイポイントを流れる条件プロセスとして、ロボットビズモータポリシーを表す。 最後に、私たちのフレームワークをテストするために、デイリーリビングのアクティビティにまたがる10のタスクからなる現実世界のデータセットを紹介します。 提案手法では, パラメータ効率を満足しつつ, 言語プロンサによる操作能力向上のためのプロンプトチューニング手法が, 競合性能を達成し, データスケールにおける他の微調整プロトコルよりも優れていた。 フローマッチングポリシを用いたマルチタスクロボット軌道の学習は、DDPMによる拡散ポリシーよりも極端に優れた一般化性能と顕著に高速な推論を含む、代替行動クローニング手法よりも一貫して良い結果をもたらす。 本フレームワークは,ロボット操作のためのフローマッチングにより,相性モデル学習と軌道生成をシームレスに統合する。

関連論文リスト

• FAST: Efficient Action Tokenization for Vision-Language-Action Models [98.15494168962563]
  離散コサイン変換に基づくロボット動作のための圧縮に基づく新しいトークン化手法を提案する。 FASTをベースとしたFAST+は,100万個のリアルロボットアクショントラジェクトリに基づいて訓練されたユニバーサルロボットアクショントークンである。
  論文  参考訳（メタデータ） (2025-01-16T18:57:04Z)
• Mitigating the Human-Robot Domain Discrepancy in Visual Pre-training for Robotic Manipulation [16.809190349155525]
  そこで本研究では,容易に利用可能な人間ロボットのビデオデータを利用して,ドメインギャップを埋める新しい適応パラダイムを提案する。 提案手法では,人間とロボットのビデオのセマンティクスを整列させるために,人間ロボットのアライメント損失を用いて,事前学習したモデルをパラメータ効率よくロボット領域に適応させる。
  論文  参考訳（メタデータ） (2024-06-20T11:57:46Z)
• BiKC: Keypose-Conditioned Consistency Policy for Bimanual Robotic Manipulation [48.08416841005715]
  両面操作に適したキーポーズ条件の整合性ポリシーを導入する。 階層的な模倣学習フレームワークであり、ハイレベルなキープレース予測器と低レベルな軌道生成器から構成される。 シミュレーションおよび実世界の実験結果から,提案手法は成功率と運用効率の点で基準法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-06-14T14:49:12Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration [68.94506047556412]
  本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。 本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
  論文  参考訳（メタデータ） (2022-11-09T10:28:40Z)
• Active Exploration for Robotic Manipulation [40.39182660794481]
  本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。 我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
  論文  参考訳（メタデータ） (2022-10-23T18:07:51Z)
• Active Uncertainty Learning for Human-Robot Interaction: An Implicit Dual Control Approach [5.05828899601167]
  暗黙的な二重制御パラダイムに基づくループ内動作計画のための不確実性学習を実現するアルゴリズムを提案する。 提案手法は,動的プログラミングモデル予測制御問題のサンプリングに基づく近似に依拠する。 結果として得られたポリシーは、連続的およびカテゴリー的不確実性を持つ一般的な人間の予測モデルに対する二重制御効果を維持することが示されている。
  論文  参考訳（メタデータ） (2022-02-15T20:40:06Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• Assembly robots with optimized control stiffness through reinforcement learning [3.4410212782758047]
  本稿では,ロボットの性能向上のために強化学習を利用する手法を提案する。 提案手法は,局所軌道最適化の性能向上に役立つ剛性行列のオンライン生成を保証する。 本手法の有効性は,2つのコンタクトリッチタスクを含む実験により検証した。
  論文  参考訳（メタデータ） (2020-02-27T15:54:43Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。