論文の概要: Human-oriented Representation Learning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2310.03023v1
• Date: Wed, 4 Oct 2023 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:20:21.512908
• Title: Human-oriented Representation Learning for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのための人間指向表現学習
• Authors: Mingxiao Huo, Mingyu Ding, Chenfeng Xu, Thomas Tian, Xinghao Zhu, Yao Mu, Lingfeng Sun, Masayoshi Tomizuka, Wei Zhan
• Abstract要約: 人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
• 参考スコア（独自算出の注目度）: 64.59499047836637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans inherently possess generalizable visual representations that empower them to efficiently explore and interact with the environments in manipulation tasks. We advocate that such a representation automatically arises from simultaneously learning about multiple simple perceptual skills that are critical for everyday scenarios (e.g., hand detection, state estimate, etc.) and is better suited for learning robot manipulation policies compared to current state-of-the-art visual representations purely based on self-supervised objectives. We formalize this idea through the lens of human-oriented multi-task fine-tuning on top of pre-trained visual encoders, where each task is a perceptual skill tied to human-environment interactions. We introduce Task Fusion Decoder as a plug-and-play embedding translator that utilizes the underlying relationships among these perceptual skills to guide the representation learning towards encoding meaningful structure for what's important for all perceptual skills, ultimately empowering learning of downstream robotic manipulation tasks. Extensive experiments across a range of robotic tasks and embodiments, in both simulations and real-world environments, show that our Task Fusion Decoder consistently improves the representation of three state-of-the-art visual encoders including R3M, MVP, and EgoVLP, for downstream manipulation policy-learning. Project page: https://sites.google.com/view/human-oriented-robot-learning
• Abstract（参考訳）: 人間は本質的に汎用的な視覚表現を持ち、操作タスクにおいて効率的に環境を探索し、相互作用することができる。 このような表現は、日常的なシナリオ(例えば、手の検出、状態推定など)において重要な複数の単純な知覚スキルを同時に学習することで自動的に発生し、ロボット操作ポリシーの学習に適している、と我々は主張する。 我々は、事前学習された視覚エンコーダの上に、人間指向のマルチタスクの微調整のレンズを通して、このアイデアを定式化する。 そこで我々は,これらの知覚スキル間の基礎となる関係を利用して,すべての知覚スキルにとって重要な意味のある構造を表現し,最終的には下流ロボット操作タスクの学習を促進するために,その表現学習を誘導する,プラグアンドプレイ組込みトランスレータとしてタスクフュージョンデコーダを導入した。 シミュレーションと実環境の両方において、様々なロボットタスクや具体化の実験を行い、我々のタスク融合デコーダは、下流操作ポリシー学習のためのr3m、mvp、egovlpを含む3つの最先端ビジュアルエンコーダの表現を一貫して改善していることを示した。 プロジェクトページ: https://sites.google.com/view/human-oriented-robot-learning

関連論文リスト

• HRP: Human Affordances for Robotic Pre-Training [15.92416819748365]
  本稿では,手,物,接触の事前学習のためのフレームワークを提案する。 実世界の5つのタスクにおいて、この空き時間事前学習がパフォーマンスを最低15%向上させることを実験的に実証した(3000以上のロボット試験を用いて)。
  論文  参考訳（メタデータ） (2024-07-26T17:59:52Z)
• A Backpack Full of Skills: Egocentric Video Understanding with Diverse Task Perspectives [5.515192437680944]
  人間の行動の共有時間モデリングを最小限のオーバーヘッドで組み合わせたビデオ理解への統一的アプローチを模索する。 EgoPackは、下流のタスクにまたがって実行され、追加の洞察源となる可能性のあるタスクパースペクティブのコレクションを作成するソリューションである。 提案手法の有効性と効率を4つのEgo4Dベンチマークで示す。
  論文  参考訳（メタデータ） (2024-03-05T15:18:02Z)
• The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning [60.91637862768949]
  強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。 M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。 視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
  論文  参考訳（メタデータ） (2023-11-02T01:33:00Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)
• Language-Driven Representation Learning for Robotics [115.93273609767145]
  ロボット工学における視覚表現学習の最近の研究は、日々の作業を行う人間の大規模なビデオデータセットから学ぶことの可能性を実証している。 人間のビデオやキャプションから言語による表現学習を行うためのフレームワークを提案する。 我々は、Voltronの言語駆動学習が、特に高レベル制御を必要とするターゲット問題において、先行技術よりも優れていることを発見した。
  論文  参考訳（メタデータ） (2023-02-24T17:29:31Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)
• Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos [28.712673809577076]
  本稿では,ロボット操作作業のための人間ビデオからの物理模倣手法を提案する。 人間のビデオをロボットドメインに翻訳し,教師なしのキーポイント検出を行う知覚モジュールを設計した。 リーチ、プッシュ、スライディング、コーヒー製造、引き出しの閉鎖を含む5つのロボット操作タスクに対するアプローチの有効性を評価します。
  論文  参考訳（メタデータ） (2021-01-18T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。