論文の概要: Generative Augmented Flow Networks
- arxiv url: http://arxiv.org/abs/2210.03308v1
- Date: Fri, 7 Oct 2022 03:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 14:36:05.821450
- Title: Generative Augmented Flow Networks
- Title（参考訳）: 生成的拡張フローネットワーク
- Authors: Ling Pan and Dinghuai Zhang and Aaron Courville and Longbo Huang and
Yoshua Bengio
- Abstract要約: GFlowNetsに中間報酬を組み込むためにGAFlowNets(Generative Augmented Flow Networks)を提案する。
GAFlowNetsは、エッジベースとステートベース固有の報酬を共同で活用して、探索を改善することができる。
- 参考スコア（独自算出の注目度）: 88.50647244459009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Generative Flow Network is a probabilistic framework where an agent
learns a stochastic policy for object generation, such that the probability of
generating an object is proportional to a given reward function. Its
effectiveness has been shown in discovering high-quality and diverse solutions,
compared to reward-maximizing reinforcement learning-based methods.
Nonetheless, GFlowNets only learn from rewards of the terminal states, which
can limit its applicability. Indeed, intermediate rewards play a critical role
in learning, for example from intrinsic motivation to provide intermediate
feedback even in particularly challenging sparse reward tasks. Inspired by
this, we propose Generative Augmented Flow Networks (GAFlowNets), a novel
learning framework to incorporate intermediate rewards into GFlowNets. We
specify intermediate rewards by intrinsic motivation to tackle the exploration
problem in sparse reward environments. GAFlowNets can leverage edge-based and
state-based intrinsic rewards in a joint way to improve exploration. Based on
extensive experiments on the GridWorld task, we demonstrate the effectiveness
and efficiency of GAFlowNet in terms of convergence, performance, and diversity
of solutions. We further show that GAFlowNet is scalable to a more complex and
large-scale molecule generation domain, where it achieves consistent and
significant performance improvement.
- Abstract（参考訳）: 生成フローネットワーク(generative flow network)は、エージェントがオブジェクト生成の確率的ポリシーを学習し、オブジェクトを生成する確率が与えられた報酬関数に比例する確率的枠組みである。
その効果は、報酬を最大化する強化学習ベースの手法と比較して、高品質で多様なソリューションの発見において示されてきた。
それでもGFlowNetsは、端末状態の報酬のみを学習し、適用性を制限することができる。
実際、中間報酬は学習において重要な役割を果たす。例えば、内在的なモチベーションから、特に難易度の低い報酬タスクにおいても中間フィードバックを提供する。
そこで我々はGAFlowNets(Generative Augmented Flow Networks)という,中間報酬をGFlowNetsに組み込む新しい学習フレームワークを提案する。
スパース報酬環境における探索問題に取り組むための本質的な動機による中間報酬を指定する。
GAFlowNetsは、エッジベースとステートベース固有の報酬を共同で活用して、探索を改善する。
GridWorldタスクに関する広範な実験に基づいて,GAFlowNetの有効性と効率を,ソリューションの収束,性能,多様性の観点から実証する。
さらに,gaflownetはより複雑で大規模な分子生成ドメインに拡張可能であり,一貫性と大幅なパフォーマンス向上を実現していることを示す。
関連論文リスト
- On Generalization for Generative Flow Networks [54.20924253330039]
生成フローネットワーク(GFlowNets)は、非正規化確率分布からのサンプリングの課題に対処するために設計された革新的な学習パラダイムとして登場した。
本稿では,GFlowNetsの文脈で一般化を形式化し,一般化と安定性を結びつけるとともに,これらのモデルの能力を評価する実験を行い,報酬関数の未知の部分を明らかにする。
論文 参考訳（メタデータ） (2024-07-03T13:42:21Z) - Baking Symmetry into GFlowNets [58.932776403471635]
GFlowNetsは、さまざまな候補を高い報酬で生成する上で、有望なパフォーマンスを示している。
本研究は,生成過程における等価な動作を特定することにより,GFlowNetに対称性を統合することを目的とする。
論文 参考訳（メタデータ） (2024-06-08T10:11:10Z) - Looking Backward: Retrospective Backward Synthesis for Goal-Conditioned GFlowNets [27.33222647437964]
Generative Flow Networks (GFlowNets) は、報酬に確率のあるオブジェクトを逐次生成するポリシーを学ぶためのアモータイズされたサンプリング手法である。
GFlowNetsは、標準的な強化学習手法とは対照的に、多種多様な高次比例オブジェクトを生成する優れた能力を示す。
近年、目標条件付きGFlowNetを学習し、タスクが指定した目標を達成できる単一のGFlowNetをトレーニングすることを目的として、様々な有用なプロパティを取得するための研究が進められている。
本稿では,これらの課題に対処するため,RBS(Retrospective Backward Synthesis)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-03T09:44:10Z) - Evolution Guided Generative Flow Networks [11.609895436955242]
Generative Flow Networks(GFlowNets)は、報酬に比例した合成オブジェクトのサンプリングを学ぶ。
GFlowNetsの大きな課題のひとつは、長期間の地平線とまばらな報酬を扱う際に、それらを効果的にトレーニングすることだ。
進化的アルゴリズム(EA)を用いたGFlowNetsトレーニングの簡易かつ強力な拡張であるEGFN(Evolution Guided Generative Flow Network)を提案する。
論文 参考訳（メタデータ） (2024-02-03T15:28:53Z) - Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。
自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。
事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
論文 参考訳（メタデータ） (2023-10-05T09:53:22Z) - Stochastic Generative Flow Networks [89.34644133901647]
生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ
既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。
本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
論文 参考訳（メタデータ） (2023-02-19T03:19:40Z) - Distributional GFlowNets with Quantile Flows [73.73721901056662]
Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。
本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。
GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
論文 参考訳（メタデータ） (2023-02-11T22:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。