論文の概要: Rethinking GFlowNet Training: Negative Reinforce Dynamics

• arxiv url: http://arxiv.org/abs/2610.38994v1
• Date: Wed, 28 Oct 2026 22:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.426341
• Title: Rethinking GFlowNet Training: Negative Reinforce Dynamics
• Title（参考訳）: GFlowNetトレーニングの再考 - 負の強化ダイナミクス
• Abstract要約: Generative Flow Networks (GFlowNets) は、対象の報酬に比例した離散オブジェクトのサンプルを学習するモデルである。 本稿では,GFlowNetと分離サンプリング器の完全勾配とmin-minダイナミクスの接続を確立する。 対戦ゲームのパラメータを結びつけることで、探索を拡張しながら正しさを維持しながら、単一の政治ダイナミクスを回復する。
• 参考スコア（独自算出の注目度）: 9.822932329461084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Flow Networks (GFlowNets) are models that learn to sample discrete objects proportional to a target reward. They are trained by minimizing balance errors over sampled trajectories, which inherently ties correctness to exploration: if a region is not visited, balance cannot be enforced there. Adaptive exploration is therefore crucial, yet standard training relies on a semi-gradient update that treats the sampling distribution as fixed at each optimization step. On the other hand, the full gradient reveals a second mechanism that reduces the observed errors in an anti-exploratory manner. In this paper, we establish a connection between the full gradient and min-min dynamics between the GFlowNet and a decoupled sampler, showing that the sampler reduces observed violations by avoiding high-error regions. This insight motivates a bridge between two-player games and single-policy dynamics, which underpins the design of our proposed method, Negative Reinforce Dynamics (NRD). By tying the parameters of an adversarial game together, we recover a single-policy dynamic that extends exploration while maintaining correctness. In standard benchmarks, our method outperforms existing approaches in both convergence speed and exploration efficiency, without training a separate teacher or auxiliary exploration policy.
• Abstract（参考訳）: Generative Flow Networks (GFlowNets) は、対象の報酬に比例した離散オブジェクトのサンプルを学習するモデルである。 それらは、サンプリングされた軌道上のバランスエラーを最小限にすることで訓練される。これは本質的には、探検に正確さを結び付けている:もし地域が訪れない場合、そこでバランスを強制することはできない。 そのため、適応探索は重要であるが、標準的な訓練は、サンプリング分布を各最適化ステップで固定したものとして扱う半段階的な更新に依存している。 一方、完全な勾配は、観測された誤差を反探索的に減少させる第2のメカニズムを明らかにする。 本稿では,GFlowNetとデカップリングサンプリング器の完全勾配とmin-minダイナミックスとの接続を確立し,ハイエラー領域を回避して観察された違反を低減することを示す。 この知見は, 提案手法である負強化ダイナミクス (NRD) の設計の基盤となる, ツープレイヤゲームと単一ポリティクスの橋渡しを動機としている。 対戦ゲームのパラメータを結びつけることで、探索を拡張しながら正しさを維持しながら、単一の政治ダイナミクスを回復する。 標準ベンチマークでは,個別の教師や補助的な探索方針を訓練することなく,収束速度と探索効率の両面で既存手法よりも優れていた。

関連論文リスト

• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• Boosted GFlowNets: Improving Exploration via Sequential Learning [13.119757506183392]
  Boosted GFlowNetsは、GFlowNetsのアンサンブルを逐次訓練する手法で、それぞれが、以前のモデルで既に捕獲された質量を補償する残留報酬を最適化する。 本稿では, マルチモーダル合成ベンチマークとペプチド設計タスクにおいて, GFlowNetsの探索とサンプルの多様性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-11-12T19:30:11Z)
• On Divergence Measures for Training GFlowNets [3.7277730514654555]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:46:52Z)
• Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
  主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。 そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。 我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
  論文  参考訳（メタデータ） (2023-09-18T18:11:31Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。