論文の概要: A Variational Perspective on Generative Flow Networks
- arxiv url: http://arxiv.org/abs/2210.07992v1
- Date: Fri, 14 Oct 2022 17:45:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:42:27.412224
- Title: A Variational Perspective on Generative Flow Networks
- Title（参考訳）: 生成フローネットワークの変分的展望
- Authors: Heiko Zimmermann, Fredrik Lindsten, Jan-Willem van de Meent, Christian
A. Naesseth
- Abstract要約: 生成フローネットワーク(GFN)は複合オブジェクトの逐次サンプリングのためのモデルである。
GFNの変動目的を,KL(Kullback-Leibler)の前方分布と後方分布の相違点の観点から定義する。
- 参考スコア（独自算出の注目度）: 21.97829447881589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative flow networks (GFNs) are a class of models for sequential sampling
of composite objects, which approximate a target distribution that is defined
in terms of an energy function or a reward. GFNs are typically trained using a
flow matching or trajectory balance objective, which matches forward and
backward transition models over trajectories. In this work, we define
variational objectives for GFNs in terms of the Kullback-Leibler (KL)
divergences between the forward and backward distribution. We show that
variational inference in GFNs is equivalent to minimizing the trajectory
balance objective when sampling trajectories from the forward model. We
generalize this approach by optimizing a convex combination of the reverse- and
forward KL divergence. This insight suggests variational inference methods can
serve as a means to define a more general family of objectives for training
generative flow networks, for example by incorporating control variates, which
are commonly used in variational inference, to reduce the variance of the
gradients of the trajectory balance objective. We evaluate our findings and the
performance of the proposed variational objective numerically by comparing it
to the trajectory balance objective on two synthetic tasks.
- Abstract（参考訳）: 生成フローネットワーク(英: generative flow network、gfns)は、エネルギー関数や報酬の観点で定義される対象分布を近似する複合物体の逐次サンプリングのためのモデルである。
gfnは通常、軌道上の前方および後方遷移モデルと一致するフローマッチングまたは軌道バランス目標を用いて訓練される。
本研究では,GFNの変分目的を,KL(Kullback-Leibler)の前方分布と後方分布の相違点の観点から定義する。
GFNの変動推論は,前方モデルから軌跡をサンプリングする場合の軌道バランス目標を最小化するのに等価であることを示す。
逆および前方KL分岐の凸結合を最適化することにより、このアプローチを一般化する。
この知見は、例えば、変分推論でよく用いられる制御変数を組み込むことによって、軌道の平衡目標の勾配のばらつきを減らすことで、生成フローネットワークを訓練するためのより一般的な目的のファミリーを定義する手段として、変分推論法が役立つことを示唆している。
提案手法を2つの合成課題における軌道バランス目標と比較することにより,実験結果と変動目標の性能を数値的に評価した。
関連論文リスト
- Training Neural Samplers with Reverse Diffusive KL Divergence [36.549460449020906]
非正規化密度関数からサンプルを得るための生成モデルを訓練することは、機械学習において重要かつ困難な課題である。
従来の訓練方法は、そのトラクタビリティのため、逆のKL(Kulback-Leibler)の分岐に依存することが多い。
モデルおよび対象密度の拡散軌跡に沿った逆KLの最小化を提案する。
本手法はボルツマン分布のサンプリング性能を向上させることを実証する。
論文 参考訳（メタデータ） (2024-10-16T11:08:02Z) - On Divergence Measures for Training GFlowNets [3.7277730514654555]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。
伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。
我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
論文 参考訳（メタデータ） (2024-10-12T03:46:52Z) - NETS: A Non-Equilibrium Transport Sampler [15.58993313831079]
我々は、Non-Equilibrium Transport Sampler (NETS)と呼ばれるアルゴリズムを提案する。
NETSはJarzynskiの平等に基づいて、重要サンプリング(AIS)の亜種と見なすことができる。
このドリフトは、様々な目的関数の最小化であり、全て偏りのない方法で推定できることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:35:38Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:32:47Z) - Variational Density Propagation Continual Learning [0.0]
現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。
本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-22T21:51:39Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z) - Trajectory balance: Improved credit assignment in GFlowNets [63.687669765579585]
従来提案したGFlowNetの学習目標,フローマッチング,詳細なバランスは,長いアクションシーケンスをまたいだ非効率な信用伝播の傾向が示唆された。
本稿では,GFlowNetsの新しい学習目標であるトラジェクトリバランスを,従来使用されていた目的に対して,より効率的な代替手段として提案する。
4つの異なる領域の実験において、GFlowNet収束のための軌道バランス目標の利点、生成されたサンプルの多様性、長いアクションシーケンスや大きなアクション空間に対する堅牢性を実証的に実証した。
論文 参考訳（メタデータ） (2022-01-31T14:07:49Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳（メタデータ） (2020-07-15T05:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。