論文の概要: Learning Energy Decompositions for Partial Inference of GFlowNets

• arxiv url: http://arxiv.org/abs/2310.03301v1
• Date: Thu, 5 Oct 2023 04:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 19:21:13.418473
• Title: Learning Energy Decompositions for Partial Inference of GFlowNets
• Title（参考訳）: GFlowNetの部分的推論のための学習エネルギー分解
• Authors: Hyosoon Jang, Minsu Kim, Sungsoo Ahn
• Abstract要約: 本稿では, ボルツマンエネルギー分布から生成フローネットワーク(GFlowNets)を解析し, 一連の動作を通して物体をサンプリングする。 特に、部分推論によるGFlowNetの改善に焦点を当て、中間状態や遷移の評価によるフロー関数のトレーニングを行う。
• 参考スコア（独自算出の注目度）: 34.209530834968206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies generative flow networks (GFlowNets) to sample objects from the Boltzmann energy distribution via a sequence of actions. In particular, we focus on improving GFlowNet with partial inference: training flow functions with the evaluation of the intermediate states or transitions. To this end, the recently developed forward-looking GFlowNet reparameterizes the flow functions based on evaluating the energy of intermediate states. However, such an evaluation of intermediate energies may (i) be too expensive or impossible to evaluate and (ii) even provide misleading training signals under large energy fluctuations along the sequence of actions. To resolve this issue, we propose learning energy decompositions for GFlowNets (LED-GFN). Our main idea is to (i) decompose the energy of an object into learnable potential functions defined on state transitions and (ii) reparameterize the flow functions using the potential functions. In particular, to produce informative local credits, we propose to regularize the potential to change smoothly over the sequence of actions. It is also noteworthy that training GFlowNet with our learned potential can preserve the optimal policy. We empirically verify the superiority of LED-GFN in five problems including the generation of unstructured and maximum independent sets, molecular graphs, and RNA sequences.
• Abstract（参考訳）: 本稿では, ボルツマンエネルギー分布から生成フローネットワーク(GFlowNets)を解析し, 一連の動作を通して物体をサンプリングする。 特に、部分推論によるGFlowNetの改善に焦点を当て、中間状態や遷移の評価によるフロー関数のトレーニングを行う。 この目的のために、最近開発されたGFlowNetは、中間状態のエネルギー評価に基づいてフロー関数を再パラメータ化する。 しかし このような中間エネルギーの評価は (i)値段が高すぎる、または評価できない (II)行動の順序に沿って大きなエネルギー変動の下で誤った学習信号も提供する。 本稿では,GFlowNets(LED-GFN)の学習エネルギー分解手法を提案する。 私たちの主なアイデアは (i)状態遷移で定義される学習可能なポテンシャル関数に対象のエネルギーを分解する、及び (ii)ポテンシャル関数を用いて流れ関数を再パラメータ化する。 特に,情報に富む地域信用を創出するために,行動の順序をスムーズに変化させる可能性を定式化することを提案する。 また、学習したポテンシャルでGFlowNetをトレーニングすることで、最適なポリシーを維持できることも注目に値する。 分子グラフ,RNA配列などの非構造および最大独立集合の生成を含む5つの問題において,LED-GFNの優位性を実証的に検証した。

関連論文リスト

• Pessimistic Backward Policy for GFlowNets [40.00805723326561]
  本稿では,与えられた報酬関数に比例してオブジェクトをサンプリングする生成フローネットワーク(GFlowNets)について検討する。 本研究では,GFlowNetが低軌道の訓練により,高逆対象を過小評価する傾向にあることを示す。 本稿では,GFlowNetsに対する悲観的なバックワードポリシーを提案し,観測されたフローを最大化し,オブジェクトに対する真の報酬と密接に一致させる。
  論文  参考訳（メタデータ） (2024-05-25T02:30:46Z)
• Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
  本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。 自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。 事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:53:22Z)
• Learning to Scale Logits for Temperature-Conditional GFlowNets [77.36931187299896]
  温度条件付きGFlowNetのトレーニングを大幅に高速化する新しいアーキテクチャ設計である textitLogit-scaling GFlowNets (Logit-GFN) を提案する。 温度の学習関数がポリシーのロジットを直接スケールするために使用されると、課題は大幅に減少する。
  論文  参考訳（メタデータ） (2023-10-04T13:45:56Z)
• Stochastic Generative Flow Networks [89.34644133901647]
  生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ 既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。 本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
  論文  参考訳（メタデータ） (2023-02-19T03:19:40Z)
• Distributional GFlowNets with Quantile Flows [73.73721901056662]
  Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。 本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。 GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
  論文  参考訳（メタデータ） (2023-02-11T22:06:17Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Generative Flow Networks for Discrete Probabilistic Modeling [118.81967600750428]
  エネルギーベース生成フローネットワーク(EB-GFN)について述べる。 EB-GFNは高次元離散データのための新しい確率論的モデリングアルゴリズムである。 GFlowNetsは、モード間を混在させるために、大ブロックギブスサンプリングを略して行うことができるかを示す。
  論文  参考訳（メタデータ） (2022-02-03T01:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。