論文の概要: Pre-trained Visual Dynamics Representations for Efficient Policy Learning

• arxiv url: http://arxiv.org/abs/2411.03169v1
• Date: Tue, 05 Nov 2024 15:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:48.627488
• Title: Pre-trained Visual Dynamics Representations for Efficient Policy Learning
• Title（参考訳）: 効率的な政策学習のための事前学習型ビジュアルダイナミクス表現
• Authors: Hao Luo, Bohan Zhou, Zongqing Lu,
• Abstract要約: 本稿では,ビデオと下流タスク間の領域ギャップを埋めて効率的なポリシー学習を実現するために,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。 事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。 この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。
• 参考スコア（独自算出の注目度）: 33.62440075940917
• License:
• Abstract: Pre-training for Reinforcement Learning (RL) with purely video data is a valuable yet challenging problem. Although in-the-wild videos are readily available and inhere a vast amount of prior world knowledge, the absence of action annotations and the common domain gap with downstream tasks hinder utilizing videos for RL pre-training. To address the challenge of pre-training with videos, we propose Pre-trained Visual Dynamics Representations (PVDR) to bridge the domain gap between videos and downstream tasks for efficient policy learning. By adopting video prediction as a pre-training task, we use a Transformer-based Conditional Variational Autoencoder (CVAE) to learn visual dynamics representations. The pre-trained visual dynamics representations capture the visual dynamics prior knowledge in the videos. This abstract prior knowledge can be readily adapted to downstream tasks and aligned with executable actions through online adaptation. We conduct experiments on a series of robotics visual control tasks and verify that PVDR is an effective form for pre-training with videos to promote policy learning.
• Abstract（参考訳）: 純粋にビデオデータを用いた強化学習(RL)の事前トレーニングは、価値はあるが難しい問題である。 しかし,アクションアノテーションの欠如や下流タスクとの共通ドメインギャップは,RL事前学習のためのビデオの利用を妨げている。 ビデオによる事前トレーニングの課題に対処するために,ビデオと下流タスク間の領域ギャップを埋めて効果的なポリシー学習を行うための,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。 ビデオ予測を事前学習タスクとして採用することにより、トランスフォーマーベースの条件変分オートエンコーダ(CVAE)を用いて視覚力学表現を学習する。 事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。 この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。 我々は、一連のロボット視覚制御タスクの実験を行い、PVDRが政策学習を促進するためのビデオの事前学習に有効な形式であることを検証した。

関連論文リスト

• ActPrompt: In-Domain Feature Adaptation via Action Cues for Video Temporal Grounding [40.60371529725805]
  本稿では,機能適応のためのドメイン内ファインチューニングのパラダイムを提案する。 本稿では, VLMのイメージエンコーダにアクションキューを注入し, アクションに敏感なパターンの発見に役立てるアクションキュー注入型テンポラルプロンプト学習(ActPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Value Explicit Pretraining for Learning Transferable Representations [11.069853883599102]
  本稿では,伝達強化学習のための一般化可能な表現を学習する手法を提案する。 我々は、目的条件付き表現のためのエンコーダを学習することで、前回学習したタスクと同様の目的を共有する新しいタスクを学ぶ。 現実的なナビゲーションシミュレータとAtariベンチマークを用いて実験したところ,本手法により生成された事前学習エンコーダは,現在のSoTA事前学習法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-19T17:12:35Z)
• Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
  ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。 ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。 これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
  論文  参考訳（メタデータ） (2023-08-16T15:00:50Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Action-Conditioned Contrastive Policy Pretraining [39.13710045468429]
  深層運動のポリシー学習は、ロボット操作や自律運転などの制御タスクにおいて有望な結果を達成する。 トレーニング環境との膨大な数のオンラインインタラクションが必要です。 本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。
  論文  参考訳（メタデータ） (2022-04-05T17:58:22Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning [49.18591896085498]
  ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。 CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T06:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。