論文の概要: Flow as the Cross-Domain Manipulation Interface

• arxiv url: http://arxiv.org/abs/2407.15208v2
• Date: Fri, 4 Oct 2024 04:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 15:56:37.652535
• Title: Flow as the Cross-Domain Manipulation Interface
• Title（参考訳）: クロスドメインマニピュレーションインタフェースとしてのフロー
• Authors: Mengda Xu, Zhenjia Xu, Yinghao Xu, Cheng Chi, Gordon Wetzstein, Manuela Veloso, Shuran Song,
• Abstract要約: Im2Flow2Actは、現実世界のロボットのトレーニングデータを必要とせずに、ロボットが現実世界の操作スキルを習得することを可能にする。 Im2Flow2Actはフロー生成ネットワークとフロー条件ポリシーの2つのコンポーネントから構成される。 我々はIm2Flow2Actの様々な実世界のタスクにおいて、剛性、調音、変形可能なオブジェクトの操作を含む能力を実証する。
• 参考スコア（独自算出の注目度）: 73.15952395641136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Im2Flow2Act, a scalable learning framework that enables robots to acquire real-world manipulation skills without the need of real-world robot training data. The key idea behind Im2Flow2Act is to use object flow as the manipulation interface, bridging domain gaps between different embodiments (i.e., human and robot) and training environments (i.e., real-world and simulated). Im2Flow2Act comprises two components: a flow generation network and a flow-conditioned policy. The flow generation network, trained on human demonstration videos, generates object flow from the initial scene image, conditioned on the task description. The flow-conditioned policy, trained on simulated robot play data, maps the generated object flow to robot actions to realize the desired object movements. By using flow as input, this policy can be directly deployed in the real world with a minimal sim-to-real gap. By leveraging real-world human videos and simulated robot play data, we bypass the challenges of teleoperating physical robots in the real world, resulting in a scalable system for diverse tasks. We demonstrate Im2Flow2Act's capabilities in a variety of real-world tasks, including the manipulation of rigid, articulated, and deformable objects.
• Abstract（参考訳）: In2Flow2Actは、ロボットが現実世界のロボットのトレーニングデータを必要とせずに、現実世界の操作スキルを習得できるスケーラブルな学習フレームワークである。 Im2Flow2Actの背景にある重要な考え方は、操作インターフェースとしてオブジェクトフローを使用すること、異なる実施形態(人間とロボット)とトレーニング環境(現実世界とシミュレーション)の間のドメインギャップを埋めることである。 Im2Flow2Actはフロー生成ネットワークとフロー条件ポリシーの2つのコンポーネントから構成される。 人間のデモビデオに基づいて訓練されたフロー生成ネットワークは、タスク記述に基づいて初期シーン画像からオブジェクトフローを生成する。 シミュレーションされたロボットプレイデータに基づいて訓練されたフロー条件付きポリシーは、生成されたオブジェクトフローをロボットアクションにマッピングし、所望のオブジェクトの動きを実現する。 フローを入力として使うことで、このポリシーは最小限のsim-to-realギャップで現実世界に直接展開できる。 実世界の人間のビデオとシミュレーションされたロボットのプレイデータを活用することで、現実世界での物理的ロボットの遠隔操作という課題を回避し、多様なタスクのためのスケーラブルなシステムを実現する。 我々はIm2Flow2Actの様々な実世界のタスクにおいて、剛性、調音、変形可能なオブジェクトの操作を含む能力を実証する。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Manipulate-Anything: Automating Real-World Robots using Vision-Language Models [47.16659229389889]
  実世界のロボット操作のためのスケーラブルな自動生成手法であるManipulate-Anythingを提案する。 Manipulate-Anythingは、特権のある状態情報や手書きのスキルなしで現実世界の環境で動作でき、静的オブジェクトを操作できる。
  論文  参考訳（メタデータ） (2024-06-27T06:12:01Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations [25.393382192511716]
  コンタクトリッチなタスクを対話的に操作するための没入型仮想現実遠隔操作インタフェースを提案する。 我々は,大規模並列RLと模倣学習の相補的強みを実証し,頑健で自然な振る舞いを示す。
  論文  参考訳（メタデータ） (2022-12-05T09:37:27Z)
• DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations [51.87067543670535]
  本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。 我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。 我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-09-28T17:51:49Z)
• Real2Sim2Real Transfer for Control of Cable-driven Robots via a Differentiable Physics Engine [9.268539775233346]
  テンセグリティロボットは、高い強度と重量比と大きな変形を示す。 しかし、それらは高次元性、複雑な力学、結合アーキテクチャのために制御が難しい。 本稿では,Real2Sim2Real(R2S2R)戦略について述べる。
  論文  参考訳（メタデータ） (2022-09-13T18:51:26Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
  本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。 本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。 本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
  論文  参考訳（メタデータ） (2021-05-26T00:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。