論文の概要: Streaming Bayes GFlowNets

• arxiv url: http://arxiv.org/abs/2411.05899v1
• Date: Fri, 08 Nov 2024 15:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:08:37.168639
• Title: Streaming Bayes GFlowNets
• Title（参考訳）: Streaming Bayes GFlowNets
• Authors: Tiago da Silva, Daniel Augusto de Souza, Diego Mesquita,
• Abstract要約: ベイズの規則は、新しいデータが到着するたびに後部をスクラッチから再計算することなく、ストリーミング方式で推論の洗練を可能にする。 しかし、実際には、このレシピは、(i)各タイミングで難解な後部を近似し、(i)適切にカプセル化し、(i)後部伝播を可能にする。 本稿では,最近提案されたGFlowNetsを利用して,ストリーミングベイズGFlowNets(SB-GFlowNets)を提案する。
• 参考スコア（独自算出の注目度）: 3.400056739248712
• License:
• Abstract: Bayes' rule naturally allows for inference refinement in a streaming fashion, without the need to recompute posteriors from scratch whenever new data arrives. In principle, Bayesian streaming is straightforward: we update our prior with the available data and use the resulting posterior as a prior when processing the next data chunk. In practice, however, this recipe entails i) approximating an intractable posterior at each time step; and ii) encapsulating results appropriately to allow for posterior propagation. For continuous state spaces, variational inference (VI) is particularly convenient due to its scalability and the tractability of variational posteriors. For discrete state spaces, however, state-of-the-art VI results in analytically intractable approximations that are ill-suited for streaming settings. To enable streaming Bayesian inference over discrete parameter spaces, we propose streaming Bayes GFlowNets (abbreviated as SB-GFlowNets) by leveraging the recently proposed GFlowNets -- a powerful class of amortized samplers for discrete compositional objects. Notably, SB-GFlowNet approximates the initial posterior using a standard GFlowNet and subsequently updates it using a tailored procedure that requires only the newly observed data. Our case studies in linear preference learning and phylogenetic inference showcase the effectiveness of SB-GFlowNets in sampling from an unnormalized posterior in a streaming setting. As expected, we also observe that SB-GFlowNets is significantly faster than repeatedly training a GFlowNet from scratch to sample from the full posterior.
• Abstract（参考訳）: ベイズの規則は、新しいデータが到着するたびに後部をスクラッチから再計算することなく、ストリーミング方式で推論の洗練を可能にする。 ベイジアンストリーミング(Bayesian streaming)は原則として単純である: 利用可能なデータで事前を更新し、次のデータチャンクを処理する際に、結果の後方を前として使用する。 しかし実際には、このレシピには意味がある。 一 各段階において難解な後部を近似すること、及び 二 後発伝播を許すため、適切に結果をカプセル化すること。 連続状態空間では、そのスケーラビリティと変動後部のトラクタビリティのために、変動推論(VI)が特に便利である。 しかし、離散状態空間では、最先端VIはストリーミング設定に不適な解析的に難解な近似をもたらす。 離散パラメータ空間上でのベイズ推論を実現するために,最近提案されたGFlowNets(離散合成オブジェクトのための強力なアモータライズされたサンプルのクラス)を活用することで,ストリーミングベイズGFlowNets(SB-GFlowNets)を提案する。 特に、SB-GFlowNetは、標準のGFlowNetを使用して最初の後部を近似し、その後、新たに観測されたデータのみを必要とする調整されたプロシージャを使用して更新する。 線形選好学習と系統推論のケーススタディでは,ストリーミング環境における非正規化後部からのサンプリングにおいて,SB-GFlowNetsの有効性が示された。 また, 予想通り, SB-GFlowNets は, GFlowNet をスクラッチからサンプルまで繰り返し訓練するよりも, はるかに高速であることも確認した。

関連論文リスト

• Local Search GFlowNets [85.0053493167887]
  Generative Flow Networks (GFlowNets) は、報酬に比例した離散オブジェクト上の分布を学習するアモータイズされたサンプリング手法である。 GFlowNetsは、多様なサンプルを生成する素晴らしい能力を示していますが、広いサンプル空間での過剰な探索のために、常に高い報酬を持つサンプルを生成するのに苦労することがあります。 本稿では,局所探索によるGFlowNetsの学習を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:27:17Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• A theory of continuous generative flow networks [104.93913776866195]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、非正規化されたターゲット分布からサンプルを抽出するように訓練されたアモータイズされた変分推論アルゴリズムである。 本稿では、既存の離散GFlowNetと、連続的あるいはハイブリッドな状態空間を持つGFlowNetを包含する一般化GFlowNetの理論を提案する。
  論文  参考訳（メタデータ） (2023-01-30T00:37:56Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
  ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。 近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
  論文  参考訳（メタデータ） (2022-02-28T15:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。