論文の概要: Loss-Guided Auxiliary Agents for Overcoming Mode Collapse in GFlowNets

• arxiv url: http://arxiv.org/abs/2505.15251v1
• Date: Wed, 21 May 2025 08:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.306043
• Title: Loss-Guided Auxiliary Agents for Overcoming Mode Collapse in GFlowNets
• Title（参考訳）: GFlowNetにおけるモード崩壊克服のための損失誘導補助エージェント
• Authors: Idriss Malek, Abhijit Sharma, Salem Lahlou,
• Abstract要約: Loss-Guided GFlowNets(LGGFN)は、GFlowNetのトレーニング損失によって補助的なGFlowNetが探索される新しいアプローチである。 LGGFNは、ベースラインに比べて探索効率とサンプルの多様性を一貫して向上させる。
• 参考スコア（独自算出の注目度）: 0.7461398179934781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Generative Flow Networks (GFlowNets) are designed to capture multiple modes of a reward function, they often suffer from mode collapse in practice, getting trapped in early discovered modes and requiring prolonged training to find diverse solutions. Existing exploration techniques may rely on heuristic novelty signals. We propose Loss-Guided GFlowNets (LGGFN), a novel approach where an auxiliary GFlowNet's exploration is directly driven by the main GFlowNet's training loss. By prioritizing trajectories where the main model exhibits high loss, LGGFN focuses sampling on poorly understood regions of the state space. This targeted exploration significantly accelerates the discovery of diverse, high-reward samples. Empirically, across various benchmarks including grid environments, structured sequence generation, and Bayesian structure learning, LGGFN consistently enhances exploration efficiency and sample diversity compared to baselines. For instance, on a challenging sequence generation task, it discovered over 40 times more unique valid modes while simultaneously reducing the exploration error metric by approximately 99\%.
• Abstract（参考訳）: Generative Flow Networks(GFlowNets)は、報酬関数の複数のモードをキャプチャするために設計されているが、実際にはモード崩壊に悩まされ、早期発見モードに閉じ込められ、多様なソリューションを見つけるために長期間のトレーニングを必要とすることが多い。 既存の探査技術は、ヒューリスティックなノベルティ信号に依存している可能性がある。 本稿では,GFlowNetのトレーニング損失が直接引き起こされる新たなアプローチとしてLos-Guided GFlowNets (LGGFN)を提案する。 主モデルが高い損失を示す軌道を優先順位付けすることにより、LGGFNは状態空間の未理解領域をサンプリングする。 この目的の探査は、多種多様な高解像度サンプルの発見を著しく加速させる。 経験的には、グリッド環境、構造化シーケンス生成、ベイズ構造学習を含む様々なベンチマークにおいて、LGGFNはベースラインに比べて探索効率とサンプルの多様性を一貫して向上させる。 例えば、挑戦的なシーケンス生成タスクにおいて、40倍以上のユニークな有効モードを発見し、同時に探索誤差のメトリックを約99\%削減した。

関連論文リスト

• MetaGFN: Exploring Distant Modes with Adapted Metadynamics for Continuous GFlowNets [1.892757060653176]
  本稿では,連続ドメイン上の任意のブラックボックス報酬関数に適用可能なメタ力学の変種であるAdapted Metadynamicsを紹介する。 結果のアルゴリズムであるMetaGFNは、目標分布への収束を加速し、GFlowNets で使用した以前のオフポリティクス探索手法よりも、より遠距離の報酬モードを発見する。
  論文  参考訳（メタデータ） (2024-08-28T16:19:35Z)
• Looking Backward: Retrospective Backward Synthesis for Goal-Conditioned GFlowNets [27.33222647437964]
  Generative Flow Networks (GFlowNets) は、多種多様なハイリワード候補を生成する顕著な能力を示した。 しかし、そのようなモデルの訓練は、極めて少ない報酬のために困難である。 この問題を解決するために,textbfRetrospective textbfBackward textbfSynthesis (textbfRBS) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T09:44:10Z)
• Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
  本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。 自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。 事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:53:22Z)
• Local Search GFlowNets [85.0053493167887]
  Generative Flow Networks (GFlowNets) は、報酬に比例した離散オブジェクト上の分布を学習するアモータイズされたサンプリング手法である。 GFlowNetsは、多様なサンプルを生成する素晴らしい能力を示していますが、広いサンプル空間での過剰な探索のために、常に高い報酬を持つサンプルを生成するのに苦労することがあります。 本稿では,局所探索によるGFlowNetsの学習を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:27:17Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• Stochastic Generative Flow Networks [89.34644133901647]
  生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ 既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。 本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
  論文  参考訳（メタデータ） (2023-02-19T03:19:40Z)
• A theory of continuous generative flow networks [104.93913776866195]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、非正規化されたターゲット分布からサンプルを抽出するように訓練されたアモータイズされた変分推論アルゴリズムである。 本稿では、既存の離散GFlowNetと、連続的あるいはハイブリッドな状態空間を持つGFlowNetを包含する一般化GFlowNetの理論を提案する。
  論文  参考訳（メタデータ） (2023-01-30T00:37:56Z)
• GFlowCausal: Generative Flow Networks for Causal Discovery [27.51595081346858]
  本稿では,GFlowCausalと呼ばれる観測データからDAG(Directed Acyclic Graph)を学習するための新しい手法を提案する。 GFlowCausalは、事前定義された報酬に比例した確率を持つシーケンシャルアクションによって、ハイリワードDAGを生成するための最良のポリシーを学ぶことを目的としている。 合成データセットと実データセットの両方について広範な実験を行い、提案手法が優れていることを示すとともに、大規模環境での良好な性能を示す。
  論文  参考訳（メタデータ） (2022-10-15T04:07:39Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。