論文の概要: Proximal Policy Optimization for Amortized Discrete Sampling

• arxiv url: http://arxiv.org/abs/2606.15793v1
• Date: Sun, 14 Jun 2026 12:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.853722
• Title: Proximal Policy Optimization for Amortized Discrete Sampling
• Title（参考訳）: Amortized Discrete Smpling の近ポリシー最適化
• Abstract要約: 本稿では,GFlowNet(Generative Flow Network)フレームワークで構築された離散確率分布からポリシーを学習するためのポリシー勾配アルゴリズムについて検討する。 我々は、GFlowNetsのトレーニングのための標準ポリシー勾配アルゴリズムの等価性を導き、ベースライントレーニングや利点推定を含む様々な方法論的側面を実験的に検討する。 最も重要なことは、合成エネルギーから分子グラフ生成までのベンチマークにおける標準GFlowNetトレーニング目標と比較して、収束速度とデータ効率が改善されたことを示し、GFlowNetsに近似ポリシー最適化を導出し、成功させたことです。
• 参考スコア（独自算出の注目度）: 7.256574710203357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores policy gradient algorithms for training stochastic policies to sample from structured discrete probability distributions under the Generative Flow Network (GFlowNet) framework. Building on extensive theoretical connections between GFlowNets and entropy-regularized reinforcement learning, we derive equivalents of standard policy gradient algorithms for training GFlowNets, as well as experimentally explore their various methodological aspects, including baseline training and advantage estimation. Most importantly, our work is the first to derive and successfully apply proximal policy optimization to GFlowNets, showing its improved convergence speed and data efficiency compared to standard GFlowNet training objectives on benchmarks ranging from synthetic energies to molecular graph generation.
• Abstract（参考訳）: 本稿では,GFlowNet(Generative Flow Network)フレームワークで構築された離散確率分布から確率的ポリシを学習するためのポリシー勾配アルゴリズムについて検討する。 GFlowNetsとエントロピー規則化強化学習との広範な理論的関係を基盤として,GFlowNetsをトレーニングするための標準方針勾配アルゴリズムの等価性を導出するとともに,ベースライントレーニングや利点推定などの方法論的側面を実験的に検討する。 最も重要なことは、合成エネルギーから分子グラフ生成までのベンチマークにおける標準GFlowNetトレーニング目標と比較して、収束速度とデータ効率が改善されたことを示し、GFlowNetsに近似ポリシー最適化を導出し、成功させたことです。

関連論文リスト

• ReFPO: Reflow Regularization for Flow Matching Policy Gradients [58.32178725687043]
  本稿では,フローマッチングポリシーに明示的なリフロー正規化を追加する,シンプルなオンラインRL手法を提案する。 ReFPOはGridWorld, MuJoCo Playground, および高次元ヒューマノイド制御タスクにおける平均性能と離散化を改善することを実験的に実証した。
  論文  参考訳（メタデータ） (2026-06-19T04:23:10Z)
• Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization [4.158255103170876]
  GFlowNetsは、与えられた報酬関数に比例したオブジェクトのサンプルを学習する生成モデルのファミリーである。 近年の研究では,GFlowNetトレーニングとエントロピー規則化強化学習問題との密接な関係が示されている。 本稿では,エントロピー規則化マルコフ決定プロセスにおいて,値関数を直接逐次的に適用する,シンプルな後方ポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:12:14Z)
• GFlowNet Training by Policy Gradients [11.02335801879944]
  我々は,従来の強化学習(RL)において,GFlowNetのフローバランスを保ち,期待される累積報酬を最適化する,ポリシーに依存した新たなGFlowNetトレーニングフレームワークを提案する。 これにより,新しいポリシベースのGFlowNetトレーニング手法の導出が可能になる。
  論文  参考訳（メタデータ） (2024-08-12T01:24:49Z)
• On Generalization for Generative Flow Networks [54.20924253330039]
  生成フローネットワーク(GFlowNets)は、非正規化確率分布からのサンプリングの課題に対処するために設計された革新的な学習パラダイムとして登場した。 本稿では,GFlowNetsの文脈で一般化を形式化し,一般化と安定性を結びつけるとともに,これらのモデルの能力を評価する実験を行い,報酬関数の未知の部分を明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T13:42:21Z)
• Random Policy Evaluation Uncovers Policies of Generative Flow Networks [12.294107455811496]
  Generative Flow Network(GFlowNet)は、エージェントがポリシーとフロー関数を学習する確率的フレームワークである。 本稿では,GFlowNetsとRLの最も基本的なコンポーネントであるポリシー評価の基本的な関係を明らかにする。 本稿では,GFlowNetsと同様の報酬マッチング効果を達成できる修正ランダムポリシー評価アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T11:11:53Z)
• Generative Flow Networks as Entropy-Regularized RL [4.857649518812728]
  生成フローネットワーク(ジェネレーティブフローネットワーク、英:generative flow network、GFlowNets)は、一連の行動を通じて与えられた報酬に比例確率を持つ合成対象をサンプリングするためのポリシーを訓練する手法である。 生成フローネットワークの学習作業は,エントロピー規則化強化学習問題として効率的に行うことができることを示す。 先に報告した結果とは対照的に,エントロピー的RLアプローチは,既存のGFlowNetトレーニング手法と競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-19T17:31:40Z)
• Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
  本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。 自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。 事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:53:22Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• Stochastic Generative Flow Networks [89.34644133901647]
  生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ 既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。 本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
  論文  参考訳（メタデータ） (2023-02-19T03:19:40Z)
• Distributional GFlowNets with Quantile Flows [73.73721901056662]
  Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。 本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。 GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
  論文  参考訳（メタデータ） (2023-02-11T22:06:17Z)
• Improving Generative Flow Networks with Path Regularization [8.848799220256366]
  近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)は,与えられた報酬関数に比例する確率を持つ行動列によって合成対象を生成する学習ポリシーのモデルとして提案されている。 本稿では,GFlowNetの基盤構造に事前制約を課す最適輸送理論に基づく経路正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-09-29T20:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。