論文の概要: FlowCritic: Bridging Value Estimation with Flow Matching in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2510.22686v1
- Date: Sun, 26 Oct 2025 14:12:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:15.328005
- Title: FlowCritic: Bridging Value Estimation with Flow Matching in Reinforcement Learning
- Title（参考訳）: FlowCritic: 強化学習におけるフローマッチングによるブリッジング値の推定
- Authors: Shan Zhong, Shutong Ding, He Diao, Xiangyu Wang, Kah Chan Teh, Bei Peng,
- Abstract要約: 既存の研究は、多批判アンサンブルと分布RLによる値関数推定の信頼性を向上させる。
生成モデルにおけるフローマッチングの成功に触発されて,FlowCriticと呼ばれる値推定のための生成パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 8.193127364294034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable value estimation serves as the cornerstone of reinforcement learning (RL) by evaluating long-term returns and guiding policy improvement, significantly influencing the convergence speed and final performance. Existing works improve the reliability of value function estimation via multi-critic ensembles and distributional RL, yet the former merely combines multi point estimation without capturing distributional information, whereas the latter relies on discretization or quantile regression, limiting the expressiveness of complex value distributions. Inspired by flow matching's success in generative modeling, we propose a generative paradigm for value estimation, named FlowCritic. Departing from conventional regression for deterministic value prediction, FlowCritic leverages flow matching to model value distributions and generate samples for value estimation.
- Abstract（参考訳）: 信頼性評価は、長期のリターンを評価し、政策改善を導くことで強化学習(RL)の基盤となり、収束速度と最終性能に大きな影響を及ぼす。
既存の研究は、複数臨界アンサンブルと分布RLによる値関数推定の信頼性を向上させるが、前者は分布情報をキャプチャせずに、多点推定を単に組み合わせているだけであり、後者は離散化や量子回帰に依存し、複素値分布の表現性を制限している。
生成モデルにおけるフローマッチングの成功に触発されて,FlowCriticと呼ばれる値推定のための生成パラダイムを提案する。
決定論的値予測のための従来の回帰から分離したFlowCriticは、フローマッチングをモデル値分布に活用し、値推定のためのサンプルを生成する。
関連論文リスト
- Value Flows [90.1510269525399]
本稿では, フローベースモデルを用いて, 将来のリターン分布を推定する。
学習したフローモデルに基づいて、新しいフロー微分ODEを用いて、異なる状態の戻り不確かさを推定する。
ステートベース37ドル、イメージベースのベンチマークタスク25ドルの実験では、バリューフローが平均的な成功率で1.3倍の改善を達成している。
論文 参考訳（メタデータ） (2025-10-09T00:57:40Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。
モデルに基づくベイズ強化学習の観点から問題を考察する。
本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文 参考訳（メタデータ） (2023-08-12T14:59:19Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Normality-Guided Distributional Reinforcement Learning for Continuous Control [13.818149654692863]
平均戻り値の予測モデル、すなわち値関数の学習は多くの強化学習アルゴリズムにおいて重要な役割を果たす。
本研究では,複数の連続制御タスクにおける値分布について検討し,学習した値分布が正常に近いことを実証的に確認した。
本稿では,標準値関数に存在しない値分布の構造的特性によって測定された正当性に基づくポリシー更新戦略を提案する。
論文 参考訳（メタデータ） (2022-08-28T02:52:10Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - Foresee then Evaluate: Decomposing Value Estimation with Latent Future
Prediction [37.06232589005015]
価値関数は強化学習(rl)の中心的な概念である
将来予測付き価値分解(VDFP)を提案する。
価値関数を潜在未来ダイナミクス部とポリシー非依存軌道返却部とに分析分解し、潜在ダイナミクスをモデル化する方法を誘導し、価値推定において別々に返却する。
論文 参考訳（メタデータ） (2021-03-03T07:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。