論文の概要: Towards Understanding the Training of GFlowNets: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2610.13711v1
• Date: Fri, 09 Oct 2026 15:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.650655
• Title: Towards Understanding the Training of GFlowNets: A Theoretical Perspective
• Title（参考訳）: GFlowNetsの学習の理解に向けて : 理論的展望
• Abstract要約: 我々は,フローマッチング,詳細バランス,軌道バランスの統一理論を開発した。 固定あるいは制御されたサンプリング、固定、バランストレーニング、あるいは別々に更新された後方ポリシーの下で有限時間収束を確立する。 これらの結果から, パラメータ化, カバレッジ, 移動成分がGFlowNetのトレーニングをどのように行うかを明らかにする。
• 参考スコア（独自算出の注目度）: 36.766773012647356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Flow Networks (GFlowNets) learn policies that sample discrete objects in proportion to a positive reward. They are trained by minimizing balance objectives, whose exact satisfaction guarantees correct sampling. However, a comprehensive theory linking nonzero balance loss and approximate stationarity to sampling accuracy, especially under evolving sampling distributions and backward policies, is still lacking. To bridge this gap, we develop a unified theory for Flow Matching, Detailed Balance, and Trajectory Balance in this regime. We first bound terminal symmetric KL by the square root of the expected balance loss. Then, we show that approximate stationarity controls this distribution error up to a tangent-space residual measuring parameterization incompleteness. Finally, we establish finite-time convergence under fixed or controlled sampling and fixed, balance-trained, or separately updated backward policies. Under standard smoothness assumptions, with fixed or controlled sampling and a fixed or balance-trained backward policy, the expected loss is $O(\barε^2+T^{-1})$ and expected terminal symmetric KL is $O(\barε+T^{-1/2})$ under uniform coverage. For a separately updated backward policy, we characterize the sufficient update decay to approach the residual neighborhood and preserve these rates. These results connect balance objectives to sampling accuracy and clarify how parameterization, coverage, and moving components govern GFlowNet training.
• Abstract（参考訳）: Generative Flow Networks (GFlowNets) は、離散オブジェクトを正の報酬に比例してサンプリングするポリシーを学ぶ。 それらは、正確な満足度が正しいサンプリングを保証するバランス目標を最小化することで訓練される。 しかしながら、非ゼロバランス損失と近似定常性をサンプリング精度に結びつける包括的理論は、特にサンプリング分布の進化や後方方針の下では、依然として不足している。 このギャップを埋めるために、我々はこの体制においてフローマッチング、詳細バランス、軌道バランスの統一理論を開発する。 我々はまず、期待バランス損失の平方根で終端対称KLを束縛する。 そして,この分布誤差をパラメータ化の不完全さの接空間残差まで近似定常性が制御することを示す。 最後に、固定あるいは制御されたサンプリング、固定、バランストレーニング、あるいは別々に更新された後方ポリシーの下で有限時間収束を確立する。 標準的な滑らかさの仮定では、固定または制御されたサンプリングと固定またはバランスの訓練された後方方針により、期待される損失は$O(\barε^2+T^{-1})$で、期待される終端対称KLは$O(\barε+T^{-1/2})$である。 個別に更新された逆向きポリシーでは、残余の近傍に近づくのに十分な更新崩壊を特徴付ける。 これらの結果から, パラメータ化, カバレッジ, 移動成分がGFlowNetのトレーニングをどのように行うかを明らかにする。

関連論文リスト

• Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
  本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。 クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
  論文  参考訳（メタデータ） (2026-09-30T12:41:43Z)
• Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis [16.115903198836694]
  拡散ポリシは、マルチモーダルなアクション分布を表すが、アドバンテージ重み付けされた更新では、結果のターゲット分布からサンプルする方法を規定していない。 我々は,KL(Kulback--Leibler)のオフライン-オンライン強化学習(RL)手法であるSchrdinger-Fllmer Actor-Critic (SFAC)を提案する。 適切な条件下では、評価評価、神経ドリフト回帰、有限サンプルSNIS、拡散離散化、およびアクターエラーが期待される平均的政策最適性に与える影響を分離する有限サンプル境界を導出する。
  論文  参考訳（メタデータ） (2026-09-27T05:27:34Z)
• Neural Non-Equilibrium Hamiltonian Monte Carlo for Corrected Boltzmann Sampling [0.0]
  列車の誤りを正すハミルトニアンサンプリング器であるニューラル非平衡ハミルトニアンモンテカルロ(NHMC)を紹介する。 NHMCはハミルトンスタイルのパスを目標に向けて学習し、完全なパスとエンドポイント構成を生成する。 二重井戸および有限体積格子の4$目標に対して、NHMC構造は経路重複が十分であるときに補正された推定を与える。
  論文  参考訳（メタデータ） (2026-07-17T06:50:34Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Deep Time-series Forecasting Needs Kernelized Moment Balancing [56.619037429652984]
  深層時系列予測は、予測と地上の真実の分布を整合させることを目的とした分布バランス問題として定式化することができる。 我々は、カーネル化されたモーメントバランス(KMB-DF)による直接予測を提案する。 複数のモデルとデータセットにわたる実験により、KMB-DFは予測精度を一貫して改善し、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-31T13:20:18Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。