論文の概要: Vid2Act: Activate Offline Videos for Visual RL

• arxiv url: http://arxiv.org/abs/2306.03360v2
• Date: Wed, 7 Jun 2023 11:39:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 10:46:06.630077
• Title: Vid2Act: Activate Offline Videos for Visual RL
• Title（参考訳）: Vid2Act: Visual RL用のオフラインビデオのアクティベート
• Authors: Minting Pan, Yitao Zheng, Wendong Zhang, Yunbo Wang, Xiaokang Yang
• Abstract要約: モデルベースのRL手法であるVid2Actを提案する。 具体的には、ドメイン選択的な知識蒸留損失を用いて、時間変化のあるタスク類似点のセットを生成するよう、世界モデルを訓練する。 本稿では,Meta-World と DeepMind Control Suite において,アクションフリーな視覚的RL事前学習法に対する Vid2Act の利点を示す。
• 参考スコア（独自算出の注目度）: 62.43468793011923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining RL models on offline video datasets is a promising way to improve their training efficiency in online tasks, but challenging due to the inherent mismatch in tasks, dynamics, and behaviors across domains. A recent model, APV, sidesteps the accompanied action records in offline datasets and instead focuses on pretraining a task-irrelevant, action-free world model within the source domains. We present Vid2Act, a model-based RL method that learns to transfer valuable action-conditioned dynamics and potentially useful action demonstrations from offline to online settings. The main idea is to use the world models not only as simulators for behavior learning but also as tools to measure the domain relevance for both dynamics representation transfer and policy transfer. Specifically, we train the world models to generate a set of time-varying task similarities using a domain-selective knowledge distillation loss. These similarities serve two purposes: (i) adaptively transferring the most useful source knowledge to facilitate dynamics learning, and (ii) learning to replay the most relevant source actions to guide the target policy. We demonstrate the advantages of Vid2Act over the action-free visual RL pretraining method in both Meta-World and DeepMind Control Suite.
• Abstract（参考訳）: オフラインのビデオデータセットでrlモデルを事前トレーニングすることは、オンラインタスクのトレーニング効率を改善する有望な方法だが、ドメイン間のタスク、ダイナミクス、行動に固有のミスマッチのため、難しい。 最近のモデルであるapvは、関連するアクションレコードをオフラインデータセットでサイドステップし、代わりにソースドメイン内でタスクに依存しないアクションフリーの世界モデルを事前トレーニングすることにフォーカスします。 本稿では,アクションコンディショニング・ダイナミクスと潜在的に有用なアクションデモをオフラインからオンラインに転送することを学ぶモデルベースのrl手法であるvid2actを提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、動的表現伝達とポリシー伝達の両方のドメイン関連性を測定するツールとして使うことである。 具体的には、ドメイン選択的知識蒸留損失を用いて、時間変化タスクの類似性を生成するために、世界モデルを訓練する。 これらの類似性は2つの目的を果たす。 (i)動的学習を促進するために最も有用な情報源知識を適応的に伝達し、 (ii)ターゲットポリシーを導くために最も関連するソースアクションを再生する学習。 本稿では,Meta-World と DeepMind Control Suite において,アクションフリーな視覚的RL事前学習法に対する Vid2Act の利点を示す。

関連論文リスト

• Model-Based Transfer Learning for Contextual Reinforcement Learning [5.5597941107270215]
  トレーニングすべき優れたタスクを体系的に選択する方法を示し、さまざまなタスクにおける全体的なパフォーマンスを最大化する。 このアプローチの背後にある主要なアイデアは、トレーニングされたモデルを転送することで生じるパフォーマンス損失を明示的にモデル化することです。 都市交通と標準制御ベンチマークを用いて,提案手法を実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-08T14:46:01Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• Finetuning Offline World Models in the Real World [13.46766121896684]
  強化学習(RL)はデータ非効率で、実際のロボットの訓練を困難にしている。 オフラインのRLは、オンラインインタラクションなしで既存のデータセットのRLポリシーをトレーニングするためのフレームワークとして提案されている。 本研究では,実ロボットで収集したオフラインデータを用いて世界モデルを事前学習し,学習モデルを用いて計画して収集したオンラインデータ上でモデルを微調整する問題を考察する。
  論文  参考訳（メタデータ） (2023-10-24T17:46:12Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
  本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。 提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
  論文  参考訳（メタデータ） (2023-06-15T19:37:43Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information [5.604859261995801]
  本稿では、遷移性能低下を解消するオフラインからオフラインまでの統一的なRLフレームワークを提案する。 目標認識状態情報をRLエージェントに導入することにより,タスクの複雑性を大幅に低減し,政策学習を加速することができる。 本フレームワークは,複数のロボット操作タスクにおける最先端手法と比較して,優れたトレーニング効率と性能を実現する。
  論文  参考訳（メタデータ） (2021-10-21T05:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。