論文の概要: On Divergence Measures for Training GFlowNets

• arxiv url: http://arxiv.org/abs/2410.09355v2
• Date: Mon, 21 Oct 2024 20:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:53:51.663899
• Title: On Divergence Measures for Training GFlowNets
• Title（参考訳）: GFlowNetsの育成のための多様性対策について
• Authors: Tiago da Silva, Eliezer de Souza da Silva, Diego Mesquita,
• Abstract要約: 生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
• 参考スコア（独自算出の注目度）: 3.7277730514654555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Flow Networks (GFlowNets) are amortized inference models designed to sample from unnormalized distributions over composable objects, with applications in generative modeling for tasks in fields such as causal discovery, NLP, and drug discovery. Traditionally, the training procedure for GFlowNets seeks to minimize the expected log-squared difference between a proposal (forward policy) and a target (backward policy) distribution, which enforces certain flow-matching conditions. While this training procedure is closely related to variational inference (VI), directly attempting standard Kullback-Leibler (KL) divergence minimization can lead to proven biased and potentially high-variance estimators. Therefore, we first review four divergence measures, namely, Renyi-$\alpha$'s, Tsallis-$\alpha$'s, reverse and forward KL's, and design statistically efficient estimators for their stochastic gradients in the context of training GFlowNets. Then, we verify that properly minimizing these divergences yields a provably correct and empirically effective training scheme, often leading to significantly faster convergence than previously proposed optimization. To achieve this, we design control variates based on the REINFORCE leave-one-out and score-matching estimators to reduce the variance of the learning objectives' gradients. Our work contributes by narrowing the gap between GFlowNets training and generalized variational approximations, paving the way for algorithmic ideas informed by the divergence minimization viewpoint.
• Abstract（参考訳）: 生成フローネットワーク (Generative Flow Networks, GFlowNets) は、合成可能なオブジェクト上の非正規分布からサンプルを抽出するために設計された記憶型推論モデルであり、因果的発見、NLP、薬物発見などの分野におけるタスクの生成モデリングに応用されている。 伝統的に、GFlowNetsのトレーニング手順は、あるフローマッチング条件を強制する提案(前方ポリシー)と目標(後方ポリシー)の2乗差を最小化することを目指している。 このトレーニング手順は変分推論(VI)と密接に関連しているが、標準のKL(Kulback-Leibler)の偏差最小化を直接試すと、バイアスがあり、高分散推定器となる可能性がある。 そこで、まず、Renyi-$\alpha$'s, Tsallis-$\alpha$'s, reverse and forward KL's という4つの分岐測度を概観し、GFlowNets の学習文脈における確率的勾配に対する統計的に効率的な推定器を設計する。 そして、これらの分散を適切に最小化すると、証明可能な正確かつ経験的に有効なトレーニングスキームが得られることを検証し、しばしば以前提案された最適化よりもはるかに高速な収束をもたらす。 そこで我々は,REINFORCEとスコアマッチング推定器に基づいて,学習対象の勾配のばらつきを低減する制御変数を設計する。 我々の研究は、GFlowNetsトレーニングと一般化された変分近似のギャップを狭め、発散最小化の観点で情報を得るアルゴリズム的アイデアの道を開くことに寄与している。

関連論文リスト

• Conformal Risk Minimization with Variance Reduction [37.74931189657469]
  コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
  論文  参考訳（メタデータ） (2024-11-03T21:48:15Z)
• Beyond Squared Error: Exploring Loss Design for Enhanced Training of Generative Flow Networks [36.084318189865066]
  異なる回帰損失は特定の発散対策に対応し、対応する発散対策の所望の特性に応じて退散損失を設計・解析できることを示す。 理論的枠組みに基づいて,シフトドコッシュ,リニアス(1/2),リニアス(1)という3つの新たな回帰損失を提案する。 提案した損失は既存のトレーニングアルゴリズムと互換性があり、収束速度、サンプルの多様性、堅牢性に関するアルゴリズムの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-03T15:37:22Z)
• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
  本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。 自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。 事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:53:22Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。