論文の概要: Mixture of GFlowNets

• arxiv url: http://arxiv.org/abs/2610.17007v1
• Date: Mon, 12 Oct 2026 15:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:47:04.623735
• Title: Mixture of GFlowNets
• Title（参考訳）: GFlowNetの混合
• Abstract要約: Generative Flow Networks (GFlowNets) は、非正規化報酬$R(x)$に比例して合成オブジェクトをサンプリングするポリシーを学習する。 実際には、単一のGFlowNetは複雑な分布のすべてのモードをカバーすることができないことが多い。 このモードバイアス問題は,それぞれの状態空間を分割する,非同期に訓練されたポリシーの集団に対処できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 40.23071633554755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Flow Networks (GFlowNets) learn a policy that samples compositional objects in proportion to an unnormalized reward $R(x)$. This makes them useful wherever many diverse, high-reward candidates are needed and oracle queries are expensive. In practice, a single GFlowNet often fails to cover all modes of a complex distribution, and the obvious ways to scale compute saturate: larger batches and data-parallel gradient averaging draw every trajectory from one, possibly biased, policy, so extra rollouts rediscover known modes instead of finding new ones. We explore whether this mode-bias problem (mode collapse in the extreme) can be addressed with a population of asynchronously trained policies which divide the state space between them. Mixture of GFlowNets (MoG) replaces the single forward policy with a community of $K$ independent GFlowNets coupled through one jointly trained soft classifier, which assigns each member its own region of the state space through reward shaping. Mixing the members under their learned partition functions provably recovers the target $p(x)\propto R(x)$. MoG exchange (MoGX) also lets the classifier route sampled trajectories: a trajectory the classifier assigns to another member is sent to that member and trained on there, with no importance sampling. We evaluate both methods by keeping the environment-interaction budget fixed while scaling the community size, turning parallel compute into mode coverage without extra oracle calls. On HyperGrid, across six reward landscapes and communities of up to $K{=}64$, MoG and MoGX keep finding new modes as $K$ grows, while data-parallel training saturates. On a genomic ideotype-design task, MoGX covers $39%$ of the $1024$ optima at $K{=}64$, against $31\%$ for independent agents and $20\%$ for data-parallel training. MoG also has a lower per-iteration synchronization cost than data-parallel training.
• Abstract（参考訳）: Generative Flow Networks (GFlowNets) は、非正規化報酬$R(x)$に比例して合成オブジェクトをサンプリングするポリシーを学習する。 これにより、多種多様なハイリワード候補が必要であり、オラクルクエリが高価である場合に役立ちます。 実際には、単一のGFlowNetは複雑な分散のすべてのモードをカバーすることができず、計算飽和度をスケールする方法は明らかである: より大きなバッチとデータ並列勾配 平均化は、新しいものを見つけるのではなく、既知のモードを再発見する。 このモードバイアス問題(極端なモード崩壊)が、それらの状態空間を分割する非同期に訓練されたポリシーの集団で対処できるかどうかを考察する。 GFlowNets(MoG)の混合は、単一のフォワードポリシーを1つの独立したGFlowNetsコミュニティに置き換える。 学習した分割関数の下でメンバを混合すると、ターゲットの$p(x)\propto R(x)$を確実に回復する。 MoG交換(MoGX)はまた、分類器がサンプリングされた軌道を案内することを可能にする: 分類器が他のメンバーに割り当てる軌道は、そのメンバーに送られ、重要でないサンプリングを行う。 我々は,コミュニティ規模を拡大しながら環境対応予算を一定に保ち,並列計算を余分なオラクルコールなしでモードカバレッジに変換することにより,両手法の評価を行った。 HyperGridでは、最大$K{=}64$の6つの報酬ランドスケープとコミュニティにまたがって、MoGとMoGXはK$が成長するにつれて新しいモードを見つけ、データ並列トレーニングは飽和している。 ゲノムイデオロタイプ設計タスクでは、MoGXは1024ドルのオプティマの39%を$K{=}64$でカバーし、独立したエージェントは$11\%、データ並列トレーニングは$20\%である。 また、MoGはデータ並列トレーニングよりもイテレーションごとの同期コストが低い。

関連論文リスト

• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• Meta Flow Maps enable scalable reward alignment [22.109809498990362]
  生成モデルの制御には計算コストがかかる。 これは、推論時ステアリングや微調整による報酬関数の最適アライメントが、値関数を推定することを要求するためである。 フレームワークの一貫性モデルであるMeta Flow Map (MFM)を導入し、フローマップをシステムの拡張に適用する。
  論文  参考訳（メタデータ） (2026-01-20T19:39:56Z)
• Embarrassingly Parallel GFlowNets [17.751086304612667]
  GFlowNetsは、離散合成ランダム変数に対するMCMCサンプリングに代わる有望な代替品である。 EP-GFlowNet は、$R(cdot) propto R_1(cdot)... R_N(cdot)$ -- の形の製品分布から、例えば並列または連合ベイズ(英語版)でサンプルを採取するための、証明可能な正当な分割・対数法である。
  論文  参考訳（メタデータ） (2024-06-05T13:59:05Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Better Training of GFlowNets with Local Credit and Incomplete Trajectories [81.14310509871935]
  エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。 これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。 これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
  論文  参考訳（メタデータ） (2023-02-03T12:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。