論文の概要: Consistent Training via Energy-Based GFlowNets for Modeling Discrete Joint Distributions

• arxiv url: http://arxiv.org/abs/2211.00568v2
• Date: Wed, 2 Nov 2022 13:12:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 11:50:49.863722
• Title: Consistent Training via Energy-Based GFlowNets for Modeling Discrete Joint Distributions
• Title（参考訳）: 離散的関節分布モデリングのためのエネルギーベースGFlowNetによる一貫性トレーニング
• Authors: Chanakya Ekbote, Moksh Jain, Payel Das, Yoshua Bengio
• Abstract要約: Generative Flow Networks (GFlowNets)は、様々なオブジェクトを$x$に、報酬関数$R(x)$を付与することで、大幅なパフォーマンス向上を実現している。 我々は、GFlowNetsと共同でエネルギーベースモデルを学習し、それを拡張して複数の変数のジョイントを学習する、という最近の研究の上に構築する。 このジョイントトレーニングやジョイントエナジーに基づく定式化は、抗微生物ペプチドの生成に大きな改善をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 79.47120571256026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Flow Networks (GFlowNets) have demonstrated significant performance improvements for generating diverse discrete objects $x$ given a reward function $R(x)$, indicating the utility of the object and trained independently from the GFlowNet by supervised learning to predict a desirable property $y$ given $x$. We hypothesize that this can lead to incompatibility between the inductive optimization biases in training $R$ and in training the GFlowNet, potentially leading to worse samples and slow adaptation to changes in the distribution. In this work, we build upon recent work on jointly learning energy-based models with GFlowNets and extend it to learn the joint over multiple variables, which we call Joint Energy-Based GFlowNets (JEBGFNs), such as peptide sequences and their antimicrobial activity. Joint learning of the energy-based model, used as a reward for the GFlowNet, can resolve the issues of incompatibility since both the reward function $R$ and the GFlowNet sampler are trained jointly. We find that this joint training or joint energy-based formulation leads to significant improvements in generating anti-microbial peptides. As the training sequences arose out of evolutionary or artificial selection for high antibiotic activity, there is presumably some structure in the distribution of sequences that reveals information about the antibiotic activity. This results in an advantage to modeling their joint generatively vs. pure discriminative modeling. We also evaluate JEBGFN in an active learning setting for discovering anti-microbial peptides.
• Abstract（参考訳）: 生成フローネットワーク(gflownets)は、さまざまな離散オブジェクトを生成するための大幅なパフォーマンス改善を実証した。 $x$ 与えられた報酬関数 $r(x)$ は、オブジェクトの有用性を示し、教師付き学習によって、gflownetから独立してトレーニングされる。 これは、$R$のトレーニングやGFlowNetのトレーニングにおける帰納的最適化バイアスの不整合を招き、より悪いサンプルと分布の変化への適応を遅くする可能性がある、という仮説を立てる。 本研究は、GFlowNetsを用いたエネルギーベースモデルの共同学習と、それを拡張して、ペプチド配列や抗菌活性など、JEBGFNs(Joint Energy-based GFlowNets)と呼ばれる複数の変数のジョイントを学習するものである。 GFlowNetの報酬として使用されるエネルギーベースモデルの合同学習は、報酬関数$R$とGFlowNetのサンプルが共同で訓練されているため、非互換性の問題を解決することができる。 この共同訓練や共同エネルギーベースの定式化は抗菌性ペプチド生成の大幅な改善をもたらすことが判明した。 高い抗生物質活性に対する進化的あるいは人工的な選択からトレーニングシーケンスが生まれたため、おそらく抗生物質活性に関する情報を明らかにする配列の分布にいくつかの構造が存在する。 この結果,共同生成モデルと純粋識別モデルとの利点がある。 また,抗微生物ペプチド発見のための能動的学習環境としてJEBGFNを評価した。

関連論文リスト

• Improving GFlowNets with Monte Carlo Tree Search [6.497027864860203]
  近年の研究では,GFlowNetsとエントロピー規則化強化学習の強い関係が明らかにされている。 我々はモンテカルロ木探索(MCTS)を適用してGFlowNetの計画能力を高めることを提案する。 実験により,本手法により,GFlowNetトレーニングのサンプル効率と,事前学習したGFlowNetモデルの生成精度が向上することが示された。
  論文  参考訳（メタデータ） (2024-06-19T15:58:35Z)
• Baking Symmetry into GFlowNets [58.932776403471635]
  GFlowNetsは、さまざまな候補を高い報酬で生成する上で、有望なパフォーマンスを示している。 本研究は,生成過程における等価な動作を特定することにより,GFlowNetに対称性を統合することを目的とする。
  論文  参考訳（メタデータ） (2024-06-08T10:11:10Z)
• Rectifying Reinforcement Learning for Reward Matching [12.294107455811496]
  我々は,GFlowNetsと統一政策の政策評価の新たなつながりを確立する。 本稿では,GFlowNetsと同じ報酬マッチング効果を達成できる新しいポリシー評価アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T11:11:53Z)
• Evolution Guided Generative Flow Networks [11.609895436955242]
  Generative Flow Networks(GFlowNets)は、報酬に比例した合成オブジェクトのサンプリングを学ぶ。 GFlowNetsの大きな課題のひとつは、長期間の地平線とまばらな報酬を扱う際に、それらを効果的にトレーニングすることだ。 進化的アルゴリズム(EA)を用いたGFlowNetsトレーニングの簡易かつ強力な拡張であるEGFN(Evolution Guided Generative Flow Network)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T15:28:53Z)
• Generative Augmented Flow Networks [88.50647244459009]
  GFlowNetsに中間報酬を組み込むためにGAFlowNets(Generative Augmented Flow Networks)を提案する。 GAFlowNetsは、エッジベースとステートベース固有の報酬を共同で活用して、探索を改善することができる。
  論文  参考訳（メタデータ） (2022-10-07T03:33:56Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Generative Flow Networks for Discrete Probabilistic Modeling [118.81967600750428]
  エネルギーベース生成フローネットワーク(EB-GFN)について述べる。 EB-GFNは高次元離散データのための新しい確率論的モデリングアルゴリズムである。 GFlowNetsは、モード間を混在させるために、大ブロックギブスサンプリングを略して行うことができるかを示す。
  論文  参考訳（メタデータ） (2022-02-03T01:27:11Z)
• GFlowNet Foundations [66.69854262276391]
  Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。 GFlowNetのさらなる理論的性質について述べる。
  論文  参考訳（メタデータ） (2021-11-17T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。