論文の概要: RePo: Resilient Model-Based Reinforcement Learning by Regularizing
Posterior Predictability
- arxiv url: http://arxiv.org/abs/2309.00082v2
- Date: Wed, 25 Oct 2023 07:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 19:49:35.825480
- Title: RePo: Resilient Model-Based Reinforcement Learning by Regularizing
Posterior Predictability
- Title(参考訳): RePo: 後部予測の規則化による弾力性モデルに基づく強化学習
- Authors: Chuning Zhu, Max Simchowitz, Siri Gadipudi, Abhishek Gupta
- Abstract要約: 本稿では,視覚モデルに基づくRL法を提案する。
我々の訓練目的は、表現が力学と報酬を最大限に予測することを奨励する。
我々の取り組みは、モデルベースのRLを動的で多様なドメインのための実用的で有用なツールにするためのステップです。
- 参考スコア(独自算出の注目度): 25.943330238941602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual model-based RL methods typically encode image observations into
low-dimensional representations in a manner that does not eliminate redundant
information. This leaves them susceptible to spurious variations -- changes in
task-irrelevant components such as background distractors or lighting
conditions. In this paper, we propose a visual model-based RL method that
learns a latent representation resilient to such spurious variations. Our
training objective encourages the representation to be maximally predictive of
dynamics and reward, while constraining the information flow from the
observation to the latent representation. We demonstrate that this objective
significantly bolsters the resilience of visual model-based RL methods to
visual distractors, allowing them to operate in dynamic environments. We then
show that while the learned encoder is resilient to spirious variations, it is
not invariant under significant distribution shift. To address this, we propose
a simple reward-free alignment procedure that enables test time adaptation of
the encoder. This allows for quick adaptation to widely differing environments
without having to relearn the dynamics and policy. Our effort is a step towards
making model-based RL a practical and useful tool for dynamic, diverse domains.
We show its effectiveness in simulation benchmarks with significant spurious
variations as well as a real-world egocentric navigation task with noisy TVs in
the background. Videos and code at https://zchuning.github.io/repo-website/.
- Abstract(参考訳): 視覚モデルに基づくRL法は通常、冗長な情報を排除しない方法で画像観察を低次元表現に符号化する。
これは、背景のイントラクタや照明条件といったタスク非関連コンポーネントの変更など、急激なバリエーションの影響を受けやすい。
本稿では,このような変動に耐性のある潜在表現を学習する視覚モデルに基づくRL法を提案する。
私たちのトレーニング目標は、観察から潜在表現への情報フローを制約しながら、表現を最大にダイナミクスと報酬を予測できることを奨励します。
この目的が視覚モデルに基づくRL手法の視覚的障害に対する耐性を著しく促進し、動的環境下での動作を可能にすることを実証する。
次に、学習したエンコーダはスピリチュアルな変動に耐性があるが、大きな分布シフトの下では不変ではないことを示す。
そこで本研究では,エンコーダの試験時間適応を可能にする簡易な報酬不要アライメント手法を提案する。
これにより、ダイナミックスとポリシーを再学習することなく、幅広い異なる環境に素早く適応することができる。
我々の取り組みは、モデルベースのRLを動的で多様なドメインのための実用的で有用なツールにするためのステップです。
背景にノイズのあるテレビを備えた実世界のエゴセントリックなナビゲーションタスクと同様に,多彩な変動を伴うシミュレーションベンチマークにおいて,その効果を示す。
ビデオとコードはhttps://zchuning.github.io/repo-website/。
関連論文リスト
- Learning Domain-Invariant Temporal Dynamics for Few-Shot Action
Recognition [13.434821382278264]
少ないショットアクション認識は、トレーニング済みのモデルを新しいデータに迅速に適応することを目的としている。
主な課題は、事前訓練されたモデルから学んだ伝達可能な知識の特定と活用である。
論文 参考訳(メタデータ) (2024-02-20T04:09:58Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [22.842308869723738]
我々は, (i) 対照的な教師なし学習と (ii) 介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は現状のモデルベースおよびモデルフリーのRL法よりも優れており,iGibsonベンチマークで評価された分布外点ナビゲーションタスクに大きく貢献する。
論文 参考訳(メタデータ) (2023-12-14T15:53:07Z) - Efficient RL via Disentangled Environment and Agent Representations [40.114817446130935]
本稿では,その形状やマスクなどのエージェントの視覚的知識を用いて,RLアルゴリズムのそのような構造化表現を学習するためのアプローチを提案する。
提案手法は,5つのロボットにまたがる18種類の難解な視覚シミュレーション環境に対して,最先端のモデルフリーアプローチより優れることを示す。
論文 参考訳(メタデータ) (2023-09-05T17:59:45Z) - Uncovering the Hidden Cost of Model Compression [49.937417635812025]
視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Improving VAE-based Representation Learning [26.47244578124654]
優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。
ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
論文 参考訳(メタデータ) (2022-05-28T23:00:18Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳(メタデータ) (2022-04-18T23:09:23Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Learning to Reweight Imaginary Transitions for Model-Based Reinforcement
Learning [58.66067369294337]
モデルが不正確または偏りがある場合、虚構軌跡はアクション値とポリシー関数を訓練するために欠落する可能性がある。
虚構遷移を適応的に再重み付けし, 未生成軌跡の負の効果を低減させる。
提案手法は,複数のタスクにおいて,最先端のモデルベースおよびモデルフリーなRLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2021-04-09T03:13:35Z) - Trajectory-wise Multiple Choice Learning for Dynamics Generalization in
Reinforcement Learning [137.39196753245105]
本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。
文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。
提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
論文 参考訳(メタデータ) (2020-10-26T03:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。