論文の概要: GFlowNets and variational inference
- arxiv url: http://arxiv.org/abs/2210.00580v1
- Date: Sun, 2 Oct 2022 17:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 13:55:18.410584
- Title: GFlowNets and variational inference
- Title（参考訳）: GFlowNetsと変分推論
- Authors: Nikolay Malkin, Salem Lahlou, Tristan Deleu, Xu Ji, Edward Hu, Katie
Everett, Dinghuai Zhang, Yoshua Bengio
- Abstract要約: 本稿では,階層的変動推論(VI)と生成フローネットワーク(GFlowNets)という,確率論的アルゴリズムの2つのファミリー間のブリッジを構築する。
また, ある場合において, VIアルゴリズムは, 学習目標の期待勾配の等しさという意味で, GFlowNetsの特別な場合と等価であることを示した。
- 参考スコア（独自算出の注目度）: 64.22223306224903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper builds bridges between two families of probabilistic algorithms:
(hierarchical) variational inference (VI), which is typically used to model
distributions over continuous spaces, and generative flow networks (GFlowNets),
which have been used for distributions over discrete structures such as graphs.
We demonstrate that, in certain cases, VI algorithms are equivalent to special
cases of GFlowNets in the sense of equality of expected gradients of their
learning objectives. We then point out the differences between the two families
and show how these differences emerge experimentally. Notably, GFlowNets, which
borrow ideas from reinforcement learning, are more amenable than VI to
off-policy training without the cost of high gradient variance induced by
importance sampling. We argue that this property of GFlowNets can provide
advantages for capturing diversity in multimodal target distributions.
- Abstract（参考訳）: 本稿では,連続空間上の分布をモデル化する (階層的) 変動推論 (VI) と,グラフなどの離散構造上の分布に使用される生成フローネットワーク (GFlowNets) という,確率論的アルゴリズムの2つのファミリ間のブリッジを構築する。
また, ある場合において, VIアルゴリズムは, 学習目標の期待勾配の等しさという意味で, GFlowNetsの特別な場合と等価であることを示した。
次に,両家系の違いを指摘し,これらの差異が実験的に現れることを示す。
特に、強化学習からアイデアを借用したGFlowNetsは、重要サンプリングによる高勾配分散のコストを伴わずに、VIよりも非政治訓練に適している。
我々は、GFlowNetsのこの特性が、マルチモーダルターゲット分布の多様性を捉える利点をもたらすと論じている。
関連論文リスト
- Stochastic Generative Flow Networks [89.34644133901647]
生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ
既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。
本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
論文 参考訳（メタデータ） (2023-02-19T03:19:40Z) - Distributional GFlowNets with Quantile Flows [73.73721901056662]
Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。
本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。
GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
論文 参考訳（メタデータ） (2023-02-11T22:06:17Z) - A theory of continuous generative flow networks [104.93913776866195]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、非正規化されたターゲット分布からサンプルを抽出するように訓練されたアモータイズされた変分推論アルゴリズムである。
本稿では、既存の離散GFlowNetと、連続的あるいはハイブリッドな状態空間を持つGFlowNetを包含する一般化GFlowNetの理論を提案する。
論文 参考訳（メタデータ） (2023-01-30T00:37:56Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳（メタデータ） (2021-11-17T17:59:54Z) - Variational Inference with Continuously-Indexed Normalizing Flows [29.95927906900098]
連続インデクシングフロー(CIF)は,近年,様々な密度推定タスクにおけるベースライン正規化フローの改善を実現している。
そこで我々は,CIFを,表現性後部近似を定式化し,訓練するための補助的変分推論手法の一部として用いる方法を示す。
論文 参考訳（メタデータ） (2020-07-10T15:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。