論文の概要: Value Forcing: Aligning Return Distributions at All Noise Levels

• arxiv url: http://arxiv.org/abs/2611.02160v1
• Date: Sun, 01 Nov 2026 19:51:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:26:20.889506
• Title: Value Forcing: Aligning Return Distributions at All Noise Levels
• Title（参考訳）: 値強制:全ての騒音レベルにおける帰還分布の調整
• Abstract要約: 本稿では,フローマッチングを用いて回帰分布を推定する新しい手法であるValue Forcingを紹介する。 私たちの重要な洞察は、あらゆるノイズレベルでベルマンの一貫性を強制することで、より豊かな学習信号を抽出できるということです。 VFはアクター批判法であり,IVFは暗黙的価値学習法である。
• 参考スコア（独自算出の注目度）: 74.3058641139121
• License:
• Abstract: Learning accurate value functions is central to reinforcement learning (RL), yet remains challenging because supervision is limited and indirect: ground-truth values are unavailable, and each transition in the data only provides an immediate reward that can be used to construct bootstrapped targets as supervision. This challenge is particularly pronounced when data is limited or reward signals are sparse, as is common in real-world applications such as robotics. We argue that the key to accurate value learning in this limited data regime is extracting richer learning signals from the available data. In this paper, we introduce Value Forcing, a new approach that uses flow matching to estimate return distributions and enables accurate value learning from limited data. Our key insight is that we can extract richer learning signals by enforcing Bellman consistency at every noise level. Empirically, Value Forcing improves the accuracy of estimating the return distribution, and prevents the distribution from collapsing to a single value, as occurs with prior methods. We instantiate Value Forcing with two practical value-learning algorithms: VF, an actor-critic method, and IVF, an implicit value-learning method. We evaluate both algorithms across $26$ long-horizon tasks in the offline RL setting and find that they outperform prior value-learning methods, with particularly large gains when data is limited. Our project website is available at https://chongyi-zheng.github.io/value-forcing.
• Abstract（参考訳）: 正確な値関数の学習は、強化学習(RL)の中心であるが、監督が限定的かつ間接的であるため、依然として困難である。 この課題は、ロボット工学のような現実世界のアプリケーションでよく見られるように、データが制限されたり、報酬信号が不足している場合に特に顕著である。 この制限されたデータ構造における正確な価値学習の鍵は、利用可能なデータからより豊かな学習信号を抽出することだと我々は主張する。 本稿では,フローマッチングを用いてリターン分布を推定し,限られたデータから正確な値学習を可能にする新しい手法であるValue Forcingを紹介する。 私たちの重要な洞察は、あらゆるノイズレベルでベルマンの一貫性を強制することで、より豊かな学習信号を抽出できるということです。 経験的に、Value Forcingは戻り分布を推定する精度を向上し、以前の方法のように、分布が1つの値に崩壊するのを防ぐ。 VFはアクター批判法であり,IVFは暗黙的価値学習法である。 オフラインのRL設定で26ドルの長期タスクにまたがる2つのアルゴリズムを評価し、これらのアルゴリズムが事前の価値学習手法よりも優れており、データに制限がある場合、特に大きな利益が得られていることを確かめる。 プロジェクトのWebサイトはhttps://chongyi-zheng.github.io/value-forcing.comで公開されている。

関連論文リスト

• Off-Policy Value-Based Reinforcement Learning for Large Language Models [25.962820072445222]
  ReValはベルマン更新に基づく手法で、内部の一貫性を捉える段階的な信号と、結果検証から導出される軌道レベルの信号を組み合わせる。 DeepSeek-R1-Distill-1.5Bでは、ReValはトレーニング効率を改善し、AIME24の2.7%、GRPOのGPQAの4.5%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-24T15:55:02Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Value Flows [90.1510269525399]
  本稿では, フローベースモデルを用いて, 将来のリターン分布を推定する。 学習したフローモデルに基づいて、新しいフロー微分ODEを用いて、異なる状態の戻り不確かさを推定する。 ステートベース37ドル、イメージベースのベンチマークタスク25ドルの実験では、バリューフローが平均的な成功率で1.3倍の改善を達成している。
  論文  参考訳（メタデータ） (2025-10-09T00:57:40Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Offline RL with No OOD Actions: In-Sample Learning via Implicit Value Regularization [90.9780151608281]
  インサンプルラーニング(IQL)は、データサンプルのみを使用して、定量的回帰によってポリシーを改善する。 サンプル内学習のパラダイムがtextitImplicit Value Regularization (IVR) フレームワークの下で生まれることを確認する。 Sparse $Q$-learning (EQL)とExponential $Q$-learning (EQL)の2つの実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-28T08:30:01Z)
• Offline Reinforcement Learning at Multiple Frequencies [62.08749079914275]
  本研究では、オフライン強化学習アルゴリズムが、トレーニング中に複数の周波数を混合したデータに対応できるかどうかについて検討する。 学習を安定させるために$Q$-valueの更新率で一貫性を強制する、単純だが効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:54:49Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。