論文の概要: Learning Manipulation by Predicting Interaction

• arxiv url: http://arxiv.org/abs/2406.00439v1
• Date: Sat, 1 Jun 2024 13:28:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:05:16.055744
• Title: Learning Manipulation by Predicting Interaction
• Title（参考訳）: インタラクション予測による学習操作
• Authors: Jia Zeng, Qingwen Bu, Bangjun Wang, Wenke Xia, Li Chen, Hao Dong, Haoming Song, Dong Wang, Di Hu, Ping Luo, Heming Cui, Bin Zhao, Xuelong Li, Yu Qiao, Hongyang Li,
• Abstract要約: 本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
• 参考スコア（独自算出の注目度）: 85.57297574510507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning approaches for robotic manipulation have boomed in recent years. Due to the scarcity of in-domain robot data, prevailing methodologies tend to leverage large-scale human video datasets to extract generalizable features for visuomotor policy learning. Despite the progress achieved, prior endeavors disregard the interactive dynamics that capture behavior patterns and physical interaction during the manipulation process, resulting in an inadequate understanding of the relationship between objects and the environment. To this end, we propose a general pre-training pipeline that learns Manipulation by Predicting the Interaction (MPI) and enhances the visual representation.Given a pair of keyframes representing the initial and final states, along with language instructions, our algorithm predicts the transition frame and detects the interaction object, respectively. These two learning objectives achieve superior comprehension towards "how-to-interact" and "where-to-interact". We conduct a comprehensive evaluation of several challenging robotic tasks.The experimental results demonstrate that MPI exhibits remarkable improvement by 10% to 64% compared with previous state-of-the-art in real-world robot platforms as well as simulation environments. Code and checkpoints are publicly shared at https://github.com/OpenDriveLab/MPI.
• Abstract（参考訳）: 近年,ロボット操作のための表現学習アプローチが盛んである。 ドメイン内のロボットデータが不足しているため、大規模な人間のビデオデータセットを活用して、ビジュモータポリシー学習のための一般化可能な特徴を抽出する傾向にある。 進歩にもかかわらず、事前の取り組みは、操作プロセス中の動作パターンと物理的相互作用をキャプチャするインタラクティブなダイナミクスを無視し、オブジェクトと環境の関係を不十分に理解する結果となった。 そこで本研究では,対話(MPI)を予測して操作を学習し,視覚的表現を向上させる汎用事前学習パイプラインを提案する。 これら2つの学習目的は「相互作用の方法」と「相互作用の場所」に対する優れた理解を達成する。 実験の結果,MPIは従来のロボットプラットフォームやシミュレーション環境と比較して10%から64%向上していることがわかった。 コードとチェックポイントはhttps://github.com/OpenDriveLab/MPI.comで公開されています。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods [14.780597545674157]
  本稿では,3つの基本的視点から,視覚的事前学習がロボット操作作業に及ぼす影響について検討する。 自己教師型学習と教師型学習を組み合わせた視覚的事前学習方式Vi-PRoMを提案する。
  論文  参考訳（メタデータ） (2023-08-07T14:24:52Z)
• Joint Engagement Classification using Video Augmentation Techniques for Multi-person Human-robot Interaction [22.73774398716566]
  本稿では,親子のダイアドの交際関係を同定するための新しい枠組みを提案する。 家庭の社会ロボットと一緒に物語本を読む親のダイアドのデータセットを用いて、まずRGBフレームと骨格ベースの関節エンゲージメント認識モデルを訓練する。 第2に,ロボット親子間相互作用における学習モデルの使用に関する実験結果を示す。
  論文  参考訳（メタデータ） (2022-12-28T23:52:55Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。