論文の概要: Moto: Latent Motion Token as the Bridging Language for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2412.04445v1
• Date: Thu, 05 Dec 2024 18:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:43:04.592111
• Title: Moto: Latent Motion Token as the Bridging Language for Robot Manipulation
• Title（参考訳）: Moto:ロボット操作のためのブリッジ言語としての潜在モーショントークン
• Authors: Yi Chen, Yuying Ge, Yizhuo Li, Yixiao Ge, Mingyu Ding, Ying Shan, Xihui Liu,
• Abstract要約: 我々はMotoを紹介する。Motoは、映像コンテンツをラテントモーションTokenizerでラテントモーションTokenシーケンスに変換する。 我々は、モーショントークンによるMoto-GPTの事前学習を行い、多様な視覚的動きの知識を捉えることができる。 実際のロボット動作に先立って学習した動きを転送するために、潜伏した動きのトークン予測と実際のロボット制御をシームレスにブリッジするコファインチューニング戦略を実装した。
• 参考スコア（独自算出の注目度）: 66.18557528695924
• License:
• Abstract: Recent developments in Large Language Models pre-trained on extensive corpora have shown significant success in various natural language processing tasks with minimal fine-tuning. This success offers new promise for robotics, which has long been constrained by the high cost of action-labeled data. We ask: given the abundant video data containing interaction-related knowledge available as a rich "corpus", can a similar generative pre-training approach be effectively applied to enhance robot learning? The key challenge is to identify an effective representation for autoregressive pre-training that benefits robot manipulation tasks. Inspired by the way humans learn new skills through observing dynamic environments, we propose that effective robotic learning should emphasize motion-related knowledge, which is closely tied to low-level actions and is hardware-agnostic, facilitating the transfer of learned motions to actual robot actions. To this end, we introduce Moto, which converts video content into latent Motion Token sequences by a Latent Motion Tokenizer, learning a bridging "language" of motion from videos in an unsupervised manner. We pre-train Moto-GPT through motion token autoregression, enabling it to capture diverse visual motion knowledge. After pre-training, Moto-GPT demonstrates the promising ability to produce semantically interpretable motion tokens, predict plausible motion trajectories, and assess trajectory rationality through output likelihood. To transfer learned motion priors to real robot actions, we implement a co-fine-tuning strategy that seamlessly bridges latent motion token prediction and real robot control. Extensive experiments show that the fine-tuned Moto-GPT exhibits superior robustness and efficiency on robot manipulation benchmarks, underscoring its effectiveness in transferring knowledge from video data to downstream visual manipulation tasks.
• Abstract（参考訳）: 大規模コーパスで事前訓練された大規模言語モデルにおける最近の開発は, 微調整を最小限に抑えた様々な自然言語処理タスクにおいて大きな成功を収めている。 この成功は、ロボティクスに新たな約束を与える。ロボットは長年、アクションラベル付きデータの高コストに制約されてきた。 リッチな"コーパス"として利用可能な対話関連知識を含む豊富なビデオデータを考えると、同様の生成前学習アプローチがロボット学習の強化に効果的に適用できるだろうか? 重要な課題は、ロボット操作タスクの恩恵を受ける自動回帰事前訓練の効果的な表現を特定することである。 動的環境を観察することで人間が新しいスキルを学ぶ方法に触発されて,ロボット学習は,低レベル動作と密接な結びつきがあり,ハードウェアに依存せず,学習した動きを実際のロボット動作に伝達することを容易にする運動関連知識を重視すべきである,と提案する。 この目的のために,Motoでは,映像コンテンツから潜在動作TokenシーケンスをラテントモーションTokenizerで変換し,映像の「言語」を教師なしで学習する。 我々は、モーショントークンによるMoto-GPTの事前学習を行い、多様な視覚的動きの知識を捉えることができる。 事前学習後、Moto-GPTは意味論的解釈可能な動作トークンを生成し、可塑性運動軌跡を予測し、出力可能性を通じて軌道の合理性を評価できる有望な能力を示した。 実際のロボット動作に先立って学習した動きを転送するために、潜伏した動きのトークン予測と実際のロボット制御をシームレスにブリッジするコファインチューニング戦略を実装した。 広汎な実験により、ロボット操作ベンチマークにおいて、微調整されたMoto-GPTは優れた堅牢性と効率性を示し、ビデオデータから下流の視覚操作タスクへの知識転送の有効性を裏付けている。

関連論文リスト

• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• Zero-Cost Whole-Body Teleoperation for Mobile Manipulation [8.71539730969424]
  MoMa-Teleopは、ベースモーションを強化学習エージェントに委譲する新しい遠隔操作手法である。 提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
  論文  参考訳（メタデータ） (2024-09-23T15:09:45Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Surfer: Progressive Reasoning with World Models for Robotic Manipulation [51.26109827779267]
  本稿では,新しいシンプルなロボット操作フレームワークであるSurferを紹介する。 Surferは、ロボット操作を視覚シーンの状態伝達として扱い、それをアクションとシーンという2つの部分に分割する。 これは世界モデルに基づいており、ロボット操作を視覚シーンの状態伝達として扱い、アクションとシーンの2つの部分に分けられる。
  論文  参考訳（メタデータ） (2023-06-20T07:06:04Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Signs of Language: Embodied Sign Language Fingerspelling Acquisition from Demonstrations for Human-Robot Interaction [1.0166477175169308]
  本稿では,ビデオ例からデキスタスモータの模倣を学習する手法を提案する。 まず,関節に1つのアクチュエータを備えたロボットハンドのURDFモデルを構築した。 トレーニング済みのディープビジョンモデルを利用して、RGBビデオから手の3Dポーズを抽出する。
  論文  参考訳（メタデータ） (2022-09-12T10:42:26Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。