論文の概要: Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation

• arxiv url: http://arxiv.org/abs/2106.04399v1
• Date: Tue, 8 Jun 2021 14:21:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 22:52:42.701519
• Title: Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation
• Title（参考訳）: 非Iterative Diverse Candidate 生成のためのフローネットワークに基づく生成モデル
• Authors: Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup, Yoshua Bengio
• Abstract要約: 本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。 本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。 提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
• 参考スコア（独自算出の注目度）: 110.09855163856326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is about the problem of learning a stochastic policy for generating an object (like a molecular graph) from a sequence of actions, such that the probability of generating an object is proportional to a given positive reward for that object. Whereas standard return maximization tends to converge to a single return-maximizing sequence, there are cases where we would like to sample a diverse set of high-return solutions. These arise, for example, in black-box function optimization when few rounds are possible, each with large batches of queries, where the batches should be diverse, e.g., in the design of new molecules. One can also see this as a problem of approximately converting an energy function to a generative distribution. While MCMC methods can achieve that, they are expensive and generally only perform local exploration. Instead, training a generative policy amortizes the cost of search during training and yields to fast generation. Using insights from Temporal Difference learning, we propose GFlowNet, based on a view of the generative process as a flow network, making it possible to handle the tricky case where different trajectories can yield the same final state, e.g., there are many ways to sequentially add atoms to generate some molecular graph. We cast the set of trajectories as a flow and convert the flow consistency equations into a learning objective, akin to the casting of the Bellman equations into Temporal Difference methods. We prove that any global minimum of the proposed objectives yields a policy which samples from the desired distribution, and demonstrate the improved performance and diversity of GFlowNet on a simple domain where there are many modes to the reward function, and on a molecule synthesis task.
• Abstract（参考訳）: 本稿では, 対象物を生成する確率が, 対象物に対して与えられた正の報酬に比例するように, 行動列から対象物を生成する確率的ポリシー(分子グラフなど)を学習する問題について述べる。 標準的な戻り値の最大化は単一の戻り値最大化列に収束する傾向にあるが、様々な高戻り値の解をサンプリングしたい場合もある。 例えば、ブラックボックスの関数最適化では、ラウンド数が少ない場合、それぞれが大きなクエリのバッチを持つ場合、例えば新しい分子の設計において、バッチは多様でなければならない。 また、これをエネルギー関数を生成分布に近似変換する問題と見なすこともできる。 MCMC法はそれを実現することができるが、高価であり、一般的には局所探査のみを行う。 代わりに、生成ポリシーのトレーニングは、トレーニング中の検索コストを償却し、迅速な生成へと導く。 時間差分学習の知見を用いて、生成過程をフローネットワークとして見た上で、GFlowNetを提案する。これにより、異なる軌道が同じ最終状態(例えば、ある分子グラフを生成するために原子を逐次追加する方法)を扱いやすくする。 本研究では, 流路の集合を流れとし, 流れの整合性方程式を学習対象に変換し, ベルマン方程式の時間差分法への鋳造と類似した。 提案する目的のグローバルな最小限は、所望の分布から抽出したポリシーを導出し、報酬関数に多くのモードがある単純な領域において、GFlowNetの性能と多様性の向上を実証し、分子合成タスクで示す。

関連論文リスト

• Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization [4.158255103170876]
  GFlowNetsは、与えられた報酬関数に比例したオブジェクトのサンプルを学習する生成モデルのファミリーである。 近年の研究では,GFlowNetトレーニングとエントロピー規則化強化学習問題との密接な関係が示されている。 本稿では,エントロピー規則化マルコフ決定プロセスにおいて,値関数を直接逐次的に適用する,シンプルな後方ポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:12:14Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• A Bayesian Flow Network Framework for Chemistry Tasks [0.0]
  ベイジアンフローネットワークに基づく化学タスクを処理する言語モデルであるChemBFNを紹介する。 サンプリング品質を改善するために,新しい精度スケジュールを提案する。 本手法は, 少ないサンプリングステップを用いても, 十分な多様性を持つ分子を生成するのに適していることを示す。
  論文  参考訳（メタデータ） (2024-07-28T04:46:32Z)
• Baking Symmetry into GFlowNets [58.932776403471635]
  GFlowNetsは、さまざまな候補を高い報酬で生成する上で、有望なパフォーマンスを示している。 本研究は,生成過程における等価な動作を特定することにより,GFlowNetに対称性を統合することを目的とする。
  論文  参考訳（メタデータ） (2024-06-08T10:11:10Z)
• Local Search GFlowNets [85.0053493167887]
  Generative Flow Networks (GFlowNets) は、報酬に比例した離散オブジェクト上の分布を学習するアモータイズされたサンプリング手法である。 GFlowNetsは、多様なサンプルを生成する素晴らしい能力を示していますが、広いサンプル空間での過剰な探索のために、常に高い報酬を持つサンプルを生成するのに苦労することがあります。 本稿では,局所探索によるGFlowNetsの学習を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:27:17Z)
• Better Training of GFlowNets with Local Credit and Incomplete Trajectories [81.14310509871935]
  エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。 これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。 これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
  論文  参考訳（メタデータ） (2023-02-03T12:19:42Z)
• GFlowNet Foundations [66.69854262276391]
  Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。 GFlowNetのさらなる理論的性質について述べる。
  論文  参考訳（メタデータ） (2021-11-17T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。