論文の概要: Affordance-based Robot Manipulation with Flow Matching

• arxiv url: http://arxiv.org/abs/2409.01083v2
• Date: Thu, 14 Nov 2024 14:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:21:54.600156
• Title: Affordance-based Robot Manipulation with Flow Matching
• Title（参考訳）: フローマッチングによるアフォーマンス型ロボット操作
• Authors: Fan Zhang, Michael Gienger,
• Abstract要約: 本フレームワークは,ロボット操作のためのフローマッチングにより,手頃なモデル学習とトラジェクトリ生成を統一する。 評価の結果,提案手法は,言語プロンサによる手軽さを学習し,競争性能を向上することがわかった。 本フレームワークは,ロボット操作のためのフローマッチングにより,相性モデル学習と軌道生成をシームレスに統合する。
• 参考スコア（独自算出の注目度）: 6.863932324631107
• License:
• Abstract: We present a framework for assistive robot manipulation, which focuses on two fundamental challenges: first, efficiently adapting large-scale models to downstream scene affordance understanding tasks, especially in daily living scenarios where gathering multi-task data involving humans requires strenuous effort; second, effectively learning robot trajectories by grounding the visual affordance model. We tackle the first challenge by employing a parameter-efficient prompt tuning method that prepends learnable text prompts to the frozen vision model to predict manipulation affordances in multi-task scenarios. Then we propose to learn robot trajectories guided by affordances in a supervised Flow Matching method. Flow matching represents a robot visuomotor policy as a conditional process of flowing random waypoints to desired robot trajectories. Finally, we introduce a real-world dataset with 10 tasks across Activities of Daily Living to test our framework. Our extensive evaluation highlights that the proposed prompt tuning method for learning manipulation affordance with language prompter achieves competitive performance and even outperforms other finetuning protocols across data scales, while satisfying parameter efficiency. Learning multi-task robot trajectories with flow matching policy also leads to consistently better generalization performance and faster inference than alternative behavior cloning methods, especially given multimodal robot action distributions. Our framework seamlessly unifies affordance model learning and trajectory generation with flow matching for robot manipulation.
• Abstract（参考訳）: 本稿では,人間を含むマルチタスクデータを収集する場合,特に日常の生活環境において,視覚的空き時間モデルに基づいて,ロボットの軌道を効果的に学習する,という2つの基本的な課題に焦点を当てた支援ロボット操作の枠組みを提案する。 学習可能なテキストを凍結視覚モデルにプリペイドするパラメータ効率の高いプロンプトチューニング手法を用いて,マルチタスクシナリオにおける操作能力の予測を行う。 そこで本研究では,教師付きフローマッチング手法を用いて,ロボットの軌道を手頃な価格で案内する手法を提案する。 フローマッチングは、望まれるロボット軌道にランダムなウェイポイントを流れる条件プロセスとして、ロボットビズモータポリシーを表す。 最後に、私たちのフレームワークをテストするために、デイリーリビングのアクティビティにまたがる10のタスクからなる現実世界のデータセットを紹介します。 提案手法では, パラメータ効率を満足しつつ, 言語プロンサによる操作能力向上のためのプロンプトチューニング手法が, 競合性能を達成し, データスケールにおける他の微調整プロトコルよりも優れていた。 フローマッチングポリシを持つマルチタスクロボット軌道の学習もまた、特にマルチモーダルロボット動作分布が与えられた場合、代替動作のクローン法よりも、一貫した一般化性能と高速な推論をもたらす。 本フレームワークは,ロボット操作のためのフローマッチングにより,相性モデル学習と軌道生成をシームレスに統合する。

関連論文リスト

• Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
  ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。 我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。 実験により,ベイズモデルに基づくRL手法の利点が示された。
  論文  参考訳（メタデータ） (2024-04-02T11:44:37Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration [68.94506047556412]
  本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。 本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
  論文  参考訳（メタデータ） (2022-11-09T10:28:40Z)
• Active Exploration for Robotic Manipulation [40.39182660794481]
  本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。 我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
  論文  参考訳（メタデータ） (2022-10-23T18:07:51Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• Learning compositional models of robot skills for task and motion planning [39.36562555272779]
  センサモレータプリミティブを用いて複雑な長距離操作問題を解決することを学ぶ。 能動的学習とサンプリングに最先端の手法を用いる。 我々は,選択した原始行動の質を計測することで,シミュレーションと実世界の双方でアプローチを評価する。
  論文  参考訳（メタデータ） (2020-06-08T20:45:34Z)
• Assembly robots with optimized control stiffness through reinforcement learning [3.4410212782758047]
  本稿では,ロボットの性能向上のために強化学習を利用する手法を提案する。 提案手法は,局所軌道最適化の性能向上に役立つ剛性行列のオンライン生成を保証する。 本手法の有効性は,2つのコンタクトリッチタスクを含む実験により検証した。
  論文  参考訳（メタデータ） (2020-02-27T15:54:43Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。