論文の概要: Diffusion Models for Reinforcement Learning: A Survey
- arxiv url: http://arxiv.org/abs/2311.01223v1
- Date: Thu, 2 Nov 2023 13:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 13:39:15.532535
- Title: Diffusion Models for Reinforcement Learning: A Survey
- Title（参考訳）: 強化学習のための拡散モデル:調査
- Authors: Zhengbang Zhu, Hanye Zhao, Haoran He, Yichao Zhong, Shenyu Zhang, Yong
Yu, Weinan Zhang
- Abstract要約: 拡散モデルは、生成モデルの顕著なクラスとして現れている。
最近の研究は、強化学習ソリューションの改善における拡散モデルの利点を示している。
- 参考スコア（独自算出の注目度）: 26.634721284746682
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Diffusion models have emerged as a prominent class of generative models,
surpassing previous methods regarding sample quality and training stability.
Recent works have shown the advantages of diffusion models in improving
reinforcement learning (RL) solutions, including as trajectory planners,
expressive policy classes, data synthesizers, etc. This survey aims to provide
an overview of the advancements in this emerging field and hopes to inspire new
avenues of research. First, we examine several challenges encountered by
current RL algorithms. Then, we present a taxonomy of existing methods based on
the roles played by diffusion models in RL and explore how the existing
challenges are addressed. We further outline successful applications of
diffusion models in various RL-related tasks while discussing the limitations
of current approaches. Finally, we conclude the survey and offer insights into
future research directions, focusing on enhancing model performance and
applying diffusion models to broader tasks. We are actively maintaining a
GitHub repository for papers and other related resources in applying diffusion
models in RL: https://github.com/apexrl/Diff4RLSurvey .
- Abstract（参考訳）: 拡散モデルは、サンプル品質とトレーニング安定性に関する従来の手法を上回って、顕著な生成モデルクラスとして登場してきた。
近年の研究では、トラジェクティブプランナー、表現型ポリシークラス、データシンセサイザーなど、強化学習(RL)ソリューションの改善における拡散モデルの利点が示されている。
本調査は, この新興分野の進展を概観し, 新たな研究の道を開くことを目的としている。
まず、現在のRLアルゴリズムで直面するいくつかの課題について検討する。
次に,RLにおける拡散モデルが果たす役割に基づいた既存手法の分類を示し,既存の課題にどう対処するかを考察する。
さらに,様々なRL関連タスクにおける拡散モデルの適用性について概説する。
最後に,調査を締め括り,今後の研究方向性について考察し,モデル性能の向上とより広いタスクに拡散モデルを適用することに焦点を当てた。
rlにおける拡散モデルの適用において、論文やその他の関連リソースのためのgithubリポジトリを積極的にメンテナンスしています。
関連論文リスト
- A Survey on Video Diffusion Models [107.4734254941333]
AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。
その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。
本稿では,AIGC時代の映像拡散モデルについて概観する。
論文 参考訳（メタデータ） (2023-10-16T17:59:28Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [56.88416540765896]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳（メタデータ） (2023-05-29T04:22:57Z) - Diffusion Models for Time Series Applications: A Survey [23.003273147019446]
拡散モデルは現在、画像、ビデオ、テキスト合成に使われている。
我々は,時系列予測,計算,生成のための拡散に基づく手法に着目する。
拡散型手法の共通限界を結論し,今後の研究の方向性を明らかにする。
論文 参考訳（メタデータ） (2023-05-01T02:06:46Z) - A data augmentation perspective on diffusion models and retrieval [34.56584787677231]
拡散モデルは、テキストクエリーからフォトリアリスティックな画像を生成するのに優れている。
これらの生成能力を用いて、分類などの下流タスクのためのトレーニングデータセットを強化するために、多くのアプローチが提案されている。
拡張のための事前学習プロセスの追加データ以上の拡散モデルの能力が、下流の性能改善につながるかどうかについては、未解決の問題である。
論文 参考訳（メタデータ） (2023-04-20T12:21:30Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-04-14T13:51:26Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。
近年,拡散モデルの性能向上への熱意が高まっている。
論文 参考訳（メタデータ） (2022-09-02T02:59:10Z) - Diffusion Policies as an Expressive Policy Class for Offline
Reinforcement Learning [70.20191211010847]
オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。
本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。
本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-08-12T09:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。