Fugu-MT 論文翻訳(概要): MAD-TD: Model-Augmented Data stabilizes High Update Ratio RL

論文の概要: MAD-TD: Model-Augmented Data stabilizes High Update Ratio RL

arxiv url: http://arxiv.org/abs/2410.08896v1
Date: Fri, 11 Oct 2024 15:13:17 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 21:16:19.416027
Title: MAD-TD: Model-Augmented Data stabilizes High Update Ratio RL
Title（参考訳）: MAD-TD: モデル拡張データによる高更新比RLの安定化
Authors: Claas A Voelcker, Marcel Hussing, Eric Eaton, Amir-massoud Farahmand, Igor Gilitschenski,
Abstract要約: 最近の研究は、新しいサンプルごとに多数の勾配ステップを持つニューラルネットワークの更新について検討している。高い更新とデータの比率は、トレーニングプロセスに不安定をもたらす。時間差分学習のためのモデル拡張データ(MAD-TD)は,少数の生成データを用いて高UTDトレーニングを安定化する。
参考スコア（独自算出の注目度）: 20.22674077197914
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Building deep reinforcement learning (RL) agents that find a good policy with few samples has proven notoriously challenging. To achieve sample efficiency, recent work has explored updating neural networks with large numbers of gradient steps for every new sample. While such high update-to-data (UTD) ratios have shown strong empirical performance, they also introduce instability to the training process. Previous approaches need to rely on periodic neural network parameter resets to address this instability, but restarting the training process is infeasible in many real-world applications and requires tuning the resetting interval. In this paper, we focus on one of the core difficulties of stable training with limited samples: the inability of learned value functions to generalize to unobserved on-policy actions. We mitigate this issue directly by augmenting the off-policy RL training process with a small amount of data generated from a learned world model. Our method, Model-Augmented Data for Temporal Difference learning (MAD-TD) uses small amounts of generated data to stabilize high UTD training and achieve competitive performance on the most challenging tasks in the DeepMind control suite. Our experiments further highlight the importance of employing a good model to generate data, MAD-TD's ability to combat value overestimation, and its practical stability gains for continued learning.
Abstract（参考訳）: 深層強化学習(英語版) (RL) エージェントを構築し、サンプルが少ないことで良い政策を見つけることは、非常に難しいことが判明した。サンプル効率を達成するために、最近の研究は、新しいサンプル毎に多数の勾配ステップを持つニューラルネットワークの更新について検討している。このような高アップデート・トゥ・データ(UTD)比は、強い経験的性能を示す一方で、トレーニングプロセスに不安定をもたらす。従来のアプローチでは、この不安定性に対処するために、周期的なニューラルネットワークパラメータリセットに依存する必要があったが、トレーニングプロセスの再起動は多くの現実世界のアプリケーションでは不可能であり、リセット間隔をチューニングする必要がある。本稿では,限定サンプルを用いた安定トレーニングにおける中核的課題の1つとして,学習価値関数が役立たずの行動に一般化できないことに着目した。我々は、学習された世界モデルから少量のデータで、政治外のRLトレーニングプロセスを強化することで、この問題を直接緩和する。本稿では,時間差分学習のためのモデル拡張データ (MAD-TD) を用いて,高UTDトレーニングを安定させ,DeepMind制御スイートの最も困難なタスクにおいて,競争性能を実現する。実験では,データ生成に優れたモデルを採用することの重要性,MAD-TDが価値過大評価に対処する能力,そして継続学習における実用的安定性の向上を強調した。

関連論文リスト

SPEQ: Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
最近のオフポリシーアルゴリズムは、更新からデータへの比率を高め、環境相互作用ごとにより勾配の更新を行うことで、サンプル効率を向上させる。これにより、サンプル効率が向上するが、必要な勾配更新の数が増えるため、計算コストが大幅に向上する。本稿では,学習を異なる学習段階に分割することで,計算効率を向上させるためのサンプル効率向上手法を提案する。
論文参考訳（メタデータ） (2025-01-15T09:04:19Z)
Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
論文参考訳（メタデータ） (2024-09-04T08:21:47Z)
Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
論文参考訳（メタデータ） (2024-06-19T15:56:21Z)
VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
論文参考訳（メタデータ） (2024-06-18T05:30:26Z)
Dissecting Deep RL with High Update Ratios: Combatting Value Divergence [21.282292112642747]
ネットワークパラメータをリセットすることなく、深層強化学習アルゴリズムが学習能力を維持できることを示す。我々は,大規模な更新率での学習を可能にする,単純な単球正規化を採用している。
論文参考訳（メタデータ） (2024-03-09T19:56:40Z)
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文参考訳（メタデータ） (2024-02-22T04:10:57Z)
Learning to Modulate pre-trained Models in RL [22.812215561012874]
訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
論文参考訳（メタデータ） (2023-06-26T17:53:05Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文参考訳（メタデータ） (2021-06-06T00:04:49Z)
Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文参考訳（メタデータ） (2021-04-07T17:59:06Z)
Overcoming Model Bias for Robust Offline Deep Reinforcement Learning [3.1325640909772403]
MOOSEは、ポリシーをデータのサポート内に保持することで、低モデルバイアスを保証するアルゴリズムである。我々はMOOSEと産業ベンチマークのBRAC, BEAR, BCQ, および MuJoCo の連続制御タスクを比較した。
論文参考訳（メタデータ） (2020-08-12T19:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。