論文の概要: Flow Network based Generative Models for Non-Iterative Diverse Candidate
Generation
- arxiv url: http://arxiv.org/abs/2106.04399v1
- Date: Tue, 8 Jun 2021 14:21:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 22:52:42.701519
- Title: Flow Network based Generative Models for Non-Iterative Diverse Candidate
Generation
- Title(参考訳): 非Iterative Diverse Candidate 生成のためのフローネットワークに基づく生成モデル
- Authors: Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup, Yoshua
Bengio
- Abstract要約: 本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。
本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。
提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
- 参考スコア(独自算出の注目度): 110.09855163856326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper is about the problem of learning a stochastic policy for
generating an object (like a molecular graph) from a sequence of actions, such
that the probability of generating an object is proportional to a given
positive reward for that object. Whereas standard return maximization tends to
converge to a single return-maximizing sequence, there are cases where we would
like to sample a diverse set of high-return solutions. These arise, for
example, in black-box function optimization when few rounds are possible, each
with large batches of queries, where the batches should be diverse, e.g., in
the design of new molecules. One can also see this as a problem of
approximately converting an energy function to a generative distribution. While
MCMC methods can achieve that, they are expensive and generally only perform
local exploration. Instead, training a generative policy amortizes the cost of
search during training and yields to fast generation. Using insights from
Temporal Difference learning, we propose GFlowNet, based on a view of the
generative process as a flow network, making it possible to handle the tricky
case where different trajectories can yield the same final state, e.g., there
are many ways to sequentially add atoms to generate some molecular graph. We
cast the set of trajectories as a flow and convert the flow consistency
equations into a learning objective, akin to the casting of the Bellman
equations into Temporal Difference methods. We prove that any global minimum of
the proposed objectives yields a policy which samples from the desired
distribution, and demonstrate the improved performance and diversity of
GFlowNet on a simple domain where there are many modes to the reward function,
and on a molecule synthesis task.
- Abstract(参考訳): 本稿では, 対象物を生成する確率が, 対象物に対して与えられた正の報酬に比例するように, 行動列から対象物を生成する確率的ポリシー(分子グラフなど)を学習する問題について述べる。
標準的な戻り値の最大化は単一の戻り値最大化列に収束する傾向にあるが、様々な高戻り値の解をサンプリングしたい場合もある。
例えば、ブラックボックスの関数最適化では、ラウンド数が少ない場合、それぞれが大きなクエリのバッチを持つ場合、例えば新しい分子の設計において、バッチは多様でなければならない。
また、これをエネルギー関数を生成分布に近似変換する問題と見なすこともできる。
MCMC法はそれを実現することができるが、高価であり、一般的には局所探査のみを行う。
代わりに、生成ポリシーのトレーニングは、トレーニング中の検索コストを償却し、迅速な生成へと導く。
時間差分学習の知見を用いて、生成過程をフローネットワークとして見た上で、GFlowNetを提案する。これにより、異なる軌道が同じ最終状態(例えば、ある分子グラフを生成するために原子を逐次追加する方法)を扱いやすくする。
本研究では, 流路の集合を流れとし, 流れの整合性方程式を学習対象に変換し, ベルマン方程式の時間差分法への鋳造と類似した。
提案する目的のグローバルな最小限は、所望の分布から抽出したポリシーを導出し、報酬関数に多くのモードがある単純な領域において、GFlowNetの性能と多様性の向上を実証し、分子合成タスクで示す。
関連論文リスト
- AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies [22.967735080818006]
本稿では,フローベース生成モデルに基づく模倣学習フレームワークであるAdaFlowを提案する。
AdaFlowは状態条件付き常微分方程式(ODE)によるポリシーを表す
AdaFlowは、成功率、行動多様性、推論速度など、すべての次元で高いパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2024-02-06T10:15:38Z) - Learning Distributions on Manifolds with Free-form Flows [2.0891120283967264]
トレーニングは、最近提案されたフリーフォームフローフレームワークの適応によって達成される。
中心となる考え方は、接空間で評価されたトレースを通して負の対数様の勾配を推定することである。
従来の作業に比べて、競争性能での推測が大幅に速いことが分かりました。
論文 参考訳(メタデータ) (2023-12-15T14:58:34Z) - Local Search GFlowNets [89.26800381700357]
Generative Flow Networks (GFlowNets) は、報酬に比例した離散オブジェクト上の分布を学習するアモータイズされたサンプリング手法である。
GFlowNetsは、多様なサンプルを生成する素晴らしい能力を示していますが、広いサンプル空間での過剰な探索のために、常に高い報酬を持つサンプルを生成するのに苦労することがあります。
本稿では,この問題を解決するために,高報酬のサンプル空間を活用することに焦点を当てたローカルサーチによるGFlowNetsのトレーニングを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:27:17Z) - Distributional GFlowNets with Quantile Flows [73.73721901056662]
Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。
本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。
GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
論文 参考訳(メタデータ) (2023-02-11T22:06:17Z) - Better Training of GFlowNets with Local Credit and Incomplete
Trajectories [81.14310509871935]
エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。
これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。
これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
論文 参考訳(メタデータ) (2023-02-03T12:19:42Z) - From Points to Functions: Infinite-dimensional Representations in
Diffusion Models [23.916417852496608]
拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。
異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
論文 参考訳(メタデータ) (2022-10-25T05:30:53Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳(メタデータ) (2021-11-17T17:59:54Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。