論文の概要: Any-point Trajectory Modeling for Policy Learning

• arxiv url: http://arxiv.org/abs/2401.00025v1
• Date: Thu, 28 Dec 2023 23:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:28:05.123555
• Title: Any-point Trajectory Modeling for Policy Learning
• Title（参考訳）: 政策学習のための任意の軌道モデリング
• Authors: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, Pieter Abbeel
• Abstract要約: 我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、トラジェクトリモデルを事前訓練することで、ビデオデモを利用するAny-point Trajectory Modeling (ATM)を導入する。 トレーニングが完了すると、これらのトラジェクトリは詳細な制御ガイダンスを提供し、最小のアクションラベル付きデータによる堅牢なビジュモータポリシーの学習を可能にする。 本手法の有効性は,130のシミュレーションタスクにまたがって実証され,言語条件の操作タスクに焦点が当てられている。
• 参考スコア（独自算出の注目度）: 67.45990463611942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from demonstration is a powerful method for teaching robots new skills, and more demonstration data often improves policy learning. However, the high cost of collecting demonstration data is a significant bottleneck. Videos, as a rich data source, contain knowledge of behaviors, physics, and semantics, but extracting control-specific information from them is challenging due to the lack of action labels. In this work, we introduce a novel framework, Any-point Trajectory Modeling (ATM), that utilizes video demonstrations by pre-training a trajectory model to predict future trajectories of arbitrary points within a video frame. Once trained, these trajectories provide detailed control guidance, enabling the learning of robust visuomotor policies with minimal action-labeled data. Our method's effectiveness is demonstrated across 130 simulation tasks, focusing on language-conditioned manipulation tasks. Visualizations and code are available at: \url{https://xingyu-lin.github.io/atm}.
• Abstract（参考訳）: デモから学ぶことはロボットに新しいスキルを教える強力な方法であり、より多くのデモデータがポリシー学習を改善する。 しかし,実演データ収集のコストは大きなボトルネックとなっている。 ビデオはリッチなデータソースとして、行動、物理、意味に関する知識を含んでいるが、アクションラベルの欠如により、それらから制御固有の情報を抽出することは困難である。 本研究では、ビデオフレーム内の任意の点の将来の軌跡を予測するために、トラジェクトリモデルを事前学習することで、ビデオデモを利用する新しいフレームワーク、Any-point Trajectory Modeling (ATM)を導入する。 一度訓練すると、これらの軌道は詳細な制御ガイダンスを提供し、最小限のアクションラベルデータでロバストな visuomotor ポリシーの学習を可能にする。 本手法の有効性は130のシミュレーションタスクで実証され,言語条件の操作タスクに焦点が当てられている。 可視化とコードは \url{https://xingyu-lin.github.io/atm} で利用可能である。

関連論文リスト

• Instant Policy: In-Context Imitation Learning via Graph Diffusion [12.879700241782528]
  In-context Imitation Learning (ICIL)は、ロボット工学にとって有望な機会である。 Instant Policyを導入し、たった1、2つのデモからすぐに新しいタスクを学習します。 また,言語定義タスクへのクロスボデーメントやゼロショット転送の基盤として機能することを示す。
  論文  参考訳（メタデータ） (2024-11-19T16:45:52Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control [18.737628473949048]
  模倣学習は、複雑なビジュモータポリシーを訓練するための強力なツールであることが証明されている。 現在の手法では、高次元の視覚的観察を扱うために数百から数千の専門家によるデモンストレーションが必要となることが多い。 視覚表現を学習するための新しいドメイン内自己教師型DynaMoを提案する。
  論文  参考訳（メタデータ） (2024-09-18T17:59:43Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Continual Learning from Demonstration of Robotics Skills [5.573543601558405]
  ロボットに動きのスキルを教える方法は、一度に1つのスキルのトレーニングに集中する。 本稿では,ハイパーネットとニューラル常微分方程式解法を用いた実験から連続学習へのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-14T16:26:52Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
  人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。 一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。 本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
  論文  参考訳（メタデータ） (2020-11-13T08:53:47Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。