Fugu-MT 論文翻訳(概要): Relative Value Learning

論文の概要: Relative Value Learning

arxiv url: http://arxiv.org/abs/2607.21120v1
Date: Thu, 23 Jul 2026 09:55:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-24 18:26:25.368968
Title: Relative Value Learning
Title（参考訳）: 相対的な価値学習
Abstract要約: 相対値学習(Relative Value Learning)は、反対称関数 $(s_i, s_j) = V(s_i) - V(s_j)$ を通じて直接値差を学習するフレームワークである。絶対的な批判に対して,相対値推定が効果的な代替手段であることを示す。
参考スコア（独自算出の注目度）: 10.063075560468798
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In reinforcement learning, critics typically estimate absolute state values $V(s)$, estimating how good a particular situation is in isolation. However, it turns out that only differences in value are relevant for control. Motivated by this, we propose Relative Value Learning (RV), a framework that learns value differences directly via an antisymmetric function $Δ(s_i, s_j) = V(s_i) - V(s_j)$. We introduce a pairwise Bellman operator and prove it is a $γ$-contraction with a unique fixed point equal to the true value differences, derive well-posed $1$-step, $n$-step and $λ$-return targets and reconstruct generalized advantage estimation from pairwise differences to obtain an unbiased policy-gradient estimator (R-GAE). Beyond theoretical results, we integrate RV with PPO and achieve competitive performance on the Atari benchmark (49 ALE games) compared to standard PPO, indicating that relative value estimation is an effective alternative to absolute critics.
Abstract（参考訳）: 強化学習では、批評家は通常絶対状態値$V(s)$を推定し、特定の状況が孤立しているかを推定する。しかし、値の違いだけが制御に関係していることが判明した。これは,非対称関数 $Δ(s_i, s_j) = V(s_i) - V(s_j)$ を通じて直接値差を学習するフレームワークである。ペアワイズベルマン作用素を導入し、それが真の値差に等しい一意の固定点を持つ$γ$-Contractであることを証明する。理論的な結果以外に、RVとPPOを統合し、標準のPPOと比較してAtariベンチマーク(49 ALEゲーム)の競合性能を実現し、相対値推定が絶対的批判に対する効果的な代替手段であることを示す。

関連論文リスト

Shared Actors Need Not Share Critics: Effects of Value Mismatch in Parallel Reinforcement Learning [19.18319839728467]
ひとつのポリシーは、同じタスクの複数の環境を並行してトレーニングする。異なる環境は、異なる期待したリターンを、批評家に見える同じ入力に割り当てることができる。環境情報のない批評家は、異なる価値目標を調整しなければならない。
論文参考訳（メタデータ） (2026-08-27T00:12:15Z)
$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-07-30T17:41:16Z)
CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion [65.53153291902454]
コラボレーティブ・アセスメント(CollabEval)は、異なるモデルの歴史的実行間の依存関係を同じタスクで活用し、統計的効率を改善するための、シンプルで効果的で原則化された方法である。スコア行列の低ランク近似を構築し、再構成された値を用いて真の評価基準平均の偏りのない推定を保証します。その結果,CollabEval では,平均信頼区間サイズと点推定値の平均2乗誤差を,同じアノテーション予算における基準手法と比較して大幅に削減できることがわかった。
論文参考訳（メタデータ） (2026-07-06T13:22:04Z)
Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文参考訳（メタデータ） (2026-05-22T08:26:08Z)
On the Sample Complexity of Discounted Reinforcement Learning with Optimized Certainty Equivalents [2.4145441422386464]
有限割引MDPにおけるリスク感応性強化学習について検討した。我々は、最適化確実性等価(OCE)と呼ばれる家族またはリスク対策を考える。
論文参考訳（メタデータ） (2026-05-20T21:53:51Z)
EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文参考訳（メタデータ） (2026-04-21T14:07:39Z)
$V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2026-03-11T14:57:41Z)
Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning [50.93804891554481]
従来の逆確率スコア推定よりも優れた対数推定演算子(log-sum-exponential (LSE)演算子)に基づく新しい推定器を提案する。我々のLSE推定器は, 重み付き条件下での分散低減とロバスト性を示す。政治以外の学習シナリオでは、LSE推定器と最適ポリシーの間のパフォーマンスギャップである後悔の限界を確立します。
論文参考訳（メタデータ） (2025-06-07T17:37:10Z)
Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文参考訳（メタデータ） (2024-05-24T11:22:19Z)
$i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
論文参考訳（メタデータ） (2024-05-24T05:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。