論文の概要: Stochastic Generative Flow Networks
- arxiv url: http://arxiv.org/abs/2302.09465v3
- Date: Sun, 25 Jun 2023 03:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 23:40:02.174201
- Title: Stochastic Generative Flow Networks
- Title（参考訳）: 確率的生成フローネットワーク
- Authors: Ling Pan, Dinghuai Zhang, Moksh Jain, Longbo Huang, Yoshua Bengio
- Abstract要約: 生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ
既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。
本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
- 参考スコア（独自算出の注目度）: 89.34644133901647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Flow Networks (or GFlowNets for short) are a family of
probabilistic agents that learn to sample complex combinatorial structures
through the lens of "inference as control". They have shown great potential in
generating high-quality and diverse candidates from a given energy landscape.
However, existing GFlowNets can be applied only to deterministic environments,
and fail in more general tasks with stochastic dynamics, which can limit their
applicability. To overcome this challenge, this paper introduces Stochastic
GFlowNets, a new algorithm that extends GFlowNets to stochastic environments.
By decomposing state transitions into two steps, Stochastic GFlowNets isolate
environmental stochasticity and learn a dynamics model to capture it. Extensive
experimental results demonstrate that Stochastic GFlowNets offer significant
advantages over standard GFlowNets as well as MCMC- and RL-based approaches, on
a variety of standard benchmarks with stochastic dynamics.
- Abstract（参考訳）: 生成フローネットワーク(英: Generative Flow Networks、略してGFlowNets)は、「制御としての推論」のレンズを通して複雑な組合せ構造をサンプリングすることを学ぶ確率的エージェントのファミリーである。
彼らは与えられたエネルギーの景観から高品質で多様な候補を生み出す大きな可能性を示してきた。
しかし、既存のGFlowNetは決定論的環境にのみ適用でき、確率力学のより一般的なタスクではフェールし、適用性を制限することができる。
この課題を克服するため,本稿ではgflownetsを確率環境に拡張する新しいアルゴリズムであるstochastic gflownetsを紹介する。
状態遷移を2つのステップに分解することで、Stochastic GFlowNetsは環境確率性を分離し、動的モデルを学び、それをキャプチャする。
広範囲な実験結果から、確率的GFlowNetsは、確率力学を持つ様々な標準ベンチマークにおいて、標準GFlowNetsやMCMCおよびRLベースのアプローチよりも大きなアドバンテージを提供することが示された。
関連論文リスト
- Improving GFlowNets with Monte Carlo Tree Search [6.497027864860203]
近年の研究では,GFlowNetsとエントロピー規則化強化学習の強い関係が明らかにされている。
我々はモンテカルロ木探索(MCTS)を適用してGFlowNetの計画能力を高めることを提案する。
実験により,本手法により,GFlowNetトレーニングのサンプル効率と,事前学習したGFlowNetモデルの生成精度が向上することが示された。
論文 参考訳（メタデータ） (2024-06-19T15:58:35Z) - Generative Flow Networks: a Markov Chain Perspective [93.9910025411313]
我々はマルコフ連鎖を用いたGFlowNetsの新しい視点を提案し、状態空間の性質に関わらずGFlowNetsの統一的な視点を示す。
GFlowNetsをMCMCメソッドと同じ理論的フレームワークに配置することで、両方のフレームワーク間の類似性も特定できます。
論文 参考訳（メタデータ） (2023-07-04T01:28:02Z) - Distributional GFlowNets with Quantile Flows [73.73721901056662]
Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。
本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。
GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
論文 参考訳（メタデータ） (2023-02-11T22:06:17Z) - A theory of continuous generative flow networks [104.93913776866195]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、非正規化されたターゲット分布からサンプルを抽出するように訓練されたアモータイズされた変分推論アルゴリズムである。
本稿では、既存の離散GFlowNetと、連続的あるいはハイブリッドな状態空間を持つGFlowNetを包含する一般化GFlowNetの理論を提案する。
論文 参考訳（メタデータ） (2023-01-30T00:37:56Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z) - Generative Flow Networks for Discrete Probabilistic Modeling [118.81967600750428]
エネルギーベース生成フローネットワーク(EB-GFN)について述べる。
EB-GFNは高次元離散データのための新しい確率論的モデリングアルゴリズムである。
GFlowNetsは、モード間を混在させるために、大ブロックギブスサンプリングを略して行うことができるかを示す。
論文 参考訳（メタデータ） (2022-02-03T01:27:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。