Fugu-MT 論文翻訳(概要): Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates

論文の概要: Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates

arxiv url: http://arxiv.org/abs/2310.17786v2
Date: Sat, 16 Mar 2024 21:41:34 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 03:12:40.271142
Title: Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates
Title（参考訳）: 動的不変データ拡張によるモデルフリー強化学習更新の理解
Authors: Nicholas E. Corrado, Josiah P. Hanna,
Abstract要約: 我々は、観察された学習改善に寄与するデータ拡張(DA)の一般的な側面を同定する。本研究では,動的不変データ拡張機能を持つスパース逆タスクに着目した。
参考スコア（独自算出の注目度）: 3.5253513747455303
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, data augmentation (DA) has emerged as a method for leveraging domain knowledge to inexpensively generate additional data in reinforcement learning (RL) tasks, often yielding substantial improvements in data efficiency. While prior work has demonstrated the utility of incorporating augmented data directly into model-free RL updates, it is not well-understood when a particular DA strategy will improve data efficiency. In this paper, we seek to identify general aspects of DA responsible for observed learning improvements. Our study focuses on sparse-reward tasks with dynamics-invariant data augmentation functions, serving as an initial step towards a more general understanding of DA and its integration into RL training. Experimentally, we isolate three relevant aspects of DA: state-action coverage, reward density, and the number of augmented transitions generated per update (the augmented replay ratio). From our experiments, we draw two conclusions: (1) increasing state-action coverage often has a much greater impact on data efficiency than increasing reward density, and (2) decreasing the augmented replay ratio substantially improves data efficiency. In fact, certain tasks in our empirical study are solvable only when the replay ratio is sufficiently low.
Abstract（参考訳）: 近年,強化学習(RL)タスクにおいて,ドメイン知識を活用する手法としてデータ拡張(DA)が登場し,データ効率が大幅に向上することも多い。従来の研究は、拡張データをモデルフリーなRL更新に直接組み込むことの有用性を実証してきたが、特定のDA戦略がデータ効率を向上するかどうかについてはよく理解されていない。本稿では,観察的学習改善に寄与するDAの一般的な側面を明らかにすることを目的とする。本研究では,動的不変なデータ拡張機能を備えたスパース・リワードタスクに着目し,DAのより一般的な理解とRLトレーニングへの統合に向けた最初のステップとして機能する。実験により, DAの3つの関連する側面として, 状態-行動カバレッジ, 報酬密度, 更新毎に発生する拡張遷移数(再生率の増大)を分離した。実験の結果,1) 報酬密度の増加よりも, 状態-行動カバレッジの増大がデータ効率に与える影響が大きいこと,2) 追加再生率の低下がデータ効率を大幅に改善すること,の2つの結論が得られた。実際、実験的な研究における特定のタスクは、リプレイ比率が十分に低い場合にのみ解決可能である。

関連論文リスト

Data Augmentation for Continual RL via Adversarial Gradient Episodic Memory [7.771348413934219]
連続RLでは、学習者は定常的でないシーケンシャルなタスクと対話し、以前の知識を忘れずに新しいタスクを学習する必要がある。本稿では,連続RLにおけるデータ拡張の有効性について検討する。本稿では,乱数振幅スケーリング,ステートスウィッチ,ミックスアップ,逆数拡張,Adv-GEMなどのデータ拡張が,既存の連続RLアルゴリズムを改善することを示す。
論文参考訳（メタデータ） (2024-08-24T03:43:35Z)
Dissecting Deep RL with High Update Ratios: Combatting Value Divergence [21.282292112642747]
ネットワークパラメータをリセットすることなく、深層強化学習アルゴリズムが学習能力を維持できることを示す。我々は,大規模な更新率での学習を可能にする,単純な単球正規化を採用している。
論文参考訳（メタデータ） (2024-03-09T19:56:40Z)
Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文参考訳（メタデータ） (2023-11-03T06:34:37Z)
DualAug: Exploiting Additional Heavy Augmentation with OOD Data Rejection [77.6648187359111]
そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
論文参考訳（メタデータ） (2023-10-12T08:55:10Z)
Enhancing data efficiency in reinforcement learning: a novel imagination mechanism based on mesh information propagation [0.3729614006275886]
Imagination Mechanism (IM) と呼ばれる新しいメッシュ情報伝達機構を導入する。 IMは、単一のサンプルによって生成された情報を、エピソード間で異なる状態に効果的にブロードキャストすることを可能にする。汎用性を促進するため,他の広く採用されているRLアルゴリズムにシームレスかつ流動的に統合可能なプラグイン・アンド・プレイモジュールとして機能するIMを拡張した。
論文参考訳（メタデータ） (2023-09-25T16:03:08Z)
Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning [57.83232242068982]
データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
論文参考訳（メタデータ） (2023-05-25T15:46:20Z)
Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文参考訳（メタデータ） (2023-04-26T10:36:40Z)
Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文参考訳（メタデータ） (2022-09-29T18:11:01Z)
Improving GANs with A Dynamic Discriminator [106.54552336711997]
我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
論文参考訳（メタデータ） (2022-09-20T17:57:33Z)
Generalization in Reinforcement Learning by Soft Data Augmentation [11.752595047069505]
SODA(Soft Data Augmentation)は、政策学習からAugmentationを分離する手法である。我々は、最先端のビジョンベースRL法によるトレーニングにおいて、サンプル効率、一般化、安定性を著しく向上するSODAを見出した。
論文参考訳（メタデータ） (2020-11-26T17:00:34Z)
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。