論文の概要: Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach

• arxiv url: http://arxiv.org/abs/2505.06482v2
• Date: Sat, 17 May 2025 09:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 12:45:56.112161
• Title: Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
• Title（参考訳）: ビデオ強化オフライン強化学習 : モデルに基づくアプローチ
• Authors: Minting Pan, Yitao Zheng, Jiajian Li, Yunbo Wang, Xiaokang Yang,
• Abstract要約: Video-Enhanced Offline RL (VeoRL) は、インタラクティブな世界モデルを構築するためのモデルベースの手法である。 VeoRLは、ロボット操作、自律運転、オープンワールドビデオゲームにおける視覚制御タスクにおいて、大幅なパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 55.76249793590689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline reinforcement learning (RL) enables policy optimization using static datasets, avoiding the risks and costs of extensive real-world exploration. However, it struggles with suboptimal offline behaviors and inaccurate value estimation due to the lack of environmental interaction. We present Video-Enhanced Offline RL (VeoRL), a model-based method that constructs an interactive world model from diverse, unlabeled video data readily available online. Leveraging model-based behavior guidance, our approach transfers commonsense knowledge of control policy and physical dynamics from natural videos to the RL agent within the target domain. VeoRL achieves substantial performance gains (over 100% in some cases) across visual control tasks in robotic manipulation, autonomous driving, and open-world video games.
• Abstract（参考訳）: オフライン強化学習(RL)は、静的データセットを使用してポリシー最適化を可能にし、大規模な現実世界探査のリスクとコストを回避する。 しかし、環境相互作用の欠如により、最適下限のオフライン行動や不正確な値推定に苦慮している。 VeoRL(Video-Enhanced Offline RL)は,オンライン上で利用可能な多種多様なラベルなしビデオデータからインタラクティブな世界モデルを構築するモデルに基づく手法である。 モデルに基づく行動指導を活用することで,本手法は制御方針や物理力学の常識知識を自然映像から対象領域内のRLエージェントに伝達する。 VeoRLは、ロボット操作、自律運転、オープンワールドビデオゲームにおける視覚制御タスクにおいて、大幅なパフォーマンス向上(場合によっては100%以上)を達成する。

関連論文リスト

• Policy-Driven World Model Adaptation for Robust Offline Model-based Reinforcement Learning [6.189693079685375]
  オフラインモデルベースRL(MBRL)は、静的データセットからワールドモデルを明示的に学習する。 政策とともに世界モデルを動的に適用する枠組みを提案する。 我々は,D4RL MuJoCoタスク12件とTokamak Controlタスク3件のアルゴリズムをベンチマークし,その最先端性能を実証した。
  論文  参考訳（メタデータ） (2025-05-19T20:14:33Z)
• ViVa: Video-Trained Value Functions for Guiding Online RL from Diverse Data [56.217490064597506]
  広範に利用可能なビデオデータから学習することで、RLを自動的に誘導するデータ駆動手法を提案し、分析する。 インテント条件付き値関数を使用して、多様なビデオから学び、これらのゴール条件付き値を報酬に組み込む。 実験により、ビデオ学習値関数は、様々なデータソースとうまく機能し、人間のビデオ事前学習からのポジティブな転送を示し、目に見えない目標に一般化し、データセットサイズでスケールできることが示されている。
  論文  参考訳（メタデータ） (2025-03-23T21:24:33Z)
• Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning [93.58897637077001]
  本稿では,オフラインからオンラインまでの潜水蒸留とフレキシブルなゆがみ制約を通したビデオから,セマンティックな違いを学習し,理解することを試みる。 動作自由なビデオ予測モデルを非干渉正規化によりオフラインでトレーニングし、注意をそらすビデオから意味的知識を抽出する。 オンライン環境での微調整には、事前学習されたモデルからの知識を活用し、世界モデルに絡み合った制約を導入する。
  論文  参考訳（メタデータ） (2025-03-11T13:50:22Z)
• Offline Trajectory Optimization for Offline Reinforcement Learning [42.306438854850434]
  オフライン強化学習は オンライン調査なしで 政策を学ぶことを目的としています オフラインRLのための既存のデータ拡張手法は、(i)短期水平シミュレーションによる自明な改善に悩まされている。 オフライン強化学習(OTTO)のためのオフライン軌道最適化を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:48:46Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)
• RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning [11.183124892686239]
  本稿では,モデルベースオフラインRLの新しいアプローチであるRobust Adversarial Model-Based Offline RL(RAMBO)を提案する。 保守性を達成するため、敵環境モデルに対して2プレイヤーゼロ和ゲームとして問題を定式化する。 我々は,オフラインRLベンチマークに対する我々のアプローチを評価し,我々のアプローチが技術性能の状態を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-04-26T20:42:14Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。