論文の概要: Posterior-Averaged Bellman Flow Matching for Distributional Critics
- arxiv url: http://arxiv.org/abs/2610.17788v1
- Date: Tue, 13 Oct 2026 06:16:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.532716
- Title: Posterior-Averaged Bellman Flow Matching for Distributional Critics
- Title（参考訳）: 分布批判に対する後方平均ベルマンフローマッチング
- Abstract要約: 後平均ベルマンフローマッチングは,バリューフローよりも高い集約性能を実現する。
PA-BFMは,固定鍵平均二乗誤差を79.7%,目標誘導勾配分散を98.0%まで低減することを示した。
- 参考スコア（独自算出の注目度）: 8.665369041430969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributional critics model the full return distribution, providing richer signals for exploration and risk-sensitive control. Recent work has shown that flow-based critics can model these distributions flexibly and provide effective supervision across flow time for temporal-difference learning. However, unlike standard flow matching with fixed data endpoints, a flow critic is trained on Bellman targets recursively generated by a learned target critic under the current policy. Existing objectives therefore either use noisy single-endpoint supervision or rely on the learned flow itself for additional guidance. Our key observation is that an intermediate bridge state may be compatible with several Bellman endpoints, so its velocity should average their directions under the corresponding posterior. We propose Posterior-Averaged Bellman Flow Matching (PA-BFM), which samples an endpoint pool, infers the closed-form posterior over the latent anchor, and regresses to the posterior-mean velocity. Uniform anchor selection makes this target an exact finite-pool Rao--Blackwellization of the single-endpoint target: for every \(K\), it preserves the population target, cannot increase conditional variance, and its conditional variance scales as \(O(K^{-1})\). The endpoint pool supports conservative updates, while the twin return flows provide critic-disagreement and unsupported-mass diagnostics. Controlled studies show that PA-BFM reduces fixed-query target mean-squared error by \(79.7\%\) and target-induced gradient variance by up to \(98.0\%\), while improving return-distribution fidelity. Across 50 OGBench tasks and four offline-to-online scenarios, PA-BFM achieves higher aggregate performance than Value Flows.
- Abstract（参考訳）: ディストリビューション評論家は、完全なリターン分布をモデル化し、探索とリスク感受性制御のためのよりリッチな信号を提供する。
近年の研究では、フローベースの批評家がこれらの分布を柔軟にモデル化し、時間差学習のためのフロータイムを効果的に監視できることが示されている。
しかし、固定されたデータエンドポイントとの標準的なフローマッチングとは異なり、フロー評論家は現在のポリシーの下で学習対象批評家が再帰的に生成するベルマンターゲットで訓練される。
したがって、既存の目的はノイズの多い単一エンドポイントの監視を使用するか、あるいは学習フロー自体を追加のガイダンスに頼っている。
我々のキーとなる観察は、中間ブリッジ状態はいくつかのベルマンの終点と互換性があるため、その速度は対応する後部での方向を測るべきである。
本稿では, 終端プールをサンプリングし, 潜伏アンカー上の閉形後部を推定し, 後側平均ベルマンフローマッチング(PA-BFM)を提案する。
均一なアンカー選択は、このターゲットを単一端点対象の正確な有限プールラオ-ブラックウェル化(英語版)(Rao-Blackwellization)にする: すべての \(K\) に対して、人口目標を保存し、条件分散を増大させることができず、条件分散は \(O(K^{-1})\ である。
エンドポイントプールは、保守的な更新をサポートし、ツインリターンフローは、批判的な診断とサポートなしの質量診断を提供する。
制御された研究により、PA-BFM は固定鍵平均二乗誤差を \(79.7\%\) 、目標誘起勾配分散を \(98.0\%\) まで低減し、戻り分布の忠実度を改善した。
50のOGBenchタスクと4つのオフライン-オフラインシナリオで、PA-BFMはバリューフローよりも高い集約パフォーマンスを達成する。
関連論文リスト
- Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning [24.094379447340696]
拡散流モデルとフローモデルはオンライン強化学習(RL)のための表現型ポリシークラスを提供する
本研究では,非正規化密度から標本化するための生成モデルの簡易かつ効率的な学習アルゴリズムであるScore-Calibrated Flow (SCF)を提案する。
RLベンチマークの実験は、SCFが最先端のジェネレーティブ・ポリティクス・ベースラインと一致または改善することを示した。
論文 参考訳（メタデータ） (2026-10-03T18:18:48Z) - EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。
批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。
EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文 参考訳（メタデータ） (2026-09-29T06:15:00Z) - PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。
ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
論文 参考訳（メタデータ） (2026-09-17T17:54:12Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳（メタデータ） (2026-08-04T04:30:02Z) - Quantile-Coupled Flow Matching for Distributional Reinforcement Learning [14.19561152578512]
条件付きフローマッチング (CFM) は連続したマルチモーダルリターン分布のモデル化に注目されている。
FlowIQNは、各ミニバッチ内のソースとベルマンターゲットサンプルをソートして、モノトン最適輸送結合を近似する。
本稿では,フローIQNがワッサーシュタイン配向射影保証を明示した最初のフローマッチング分布批判であることを示す。
論文 参考訳（メタデータ） (2026-05-08T21:49:37Z) - Path-Coupled Bellman Flows for Distributional Reinforcement Learning [6.000836623151053]
Path-Coupled Bellman Flows (PCBF) はフローマッチングを用いて戻り分布を学習する。
PCBFは電流と後継リターンを結合し、共有ベースノイズを流れる。
解析的抽出可能なMPP, OGBench, D4RLの実験では, 分布密度とトレーニング安定性が向上した。
論文 参考訳（メタデータ） (2026-05-07T19:05:01Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Distributional Reinforcement Learning with Diffusion Bridge Critics [57.70134665595571]
拡散橋批判(DBC)を用いた分散強化学習手法を提案する。
DBCはQ値の逆累積分布関数(CDF)を直接モデル化する。
我々はDBCにおける離散化誤差に対処する解析積分式を導出する。
論文 参考訳（メタデータ） (2026-02-05T15:40:14Z) - Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies [4.249024052507976]
本稿では, 直接的対象サンプルを使わずに, 拡散・流動モデルの訓練問題に厳密に対処する, 逆流マッチング (RFM) の統一フレームワークを提案する。
逆推論の観点を採用することで、中間雑音サンプルが与えられた後部平均推定問題としてトレーニング対象を定式化する。
このクラスでは,既存の雑音予測法と勾配探索法が2つの具体例であることを示す。
論文 参考訳（メタデータ） (2026-01-13T01:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。