論文の概要: Retroactive Advantage Correction: Closed-Form V-Trace Bias Correction for Delay-Aware RLHF

• arxiv url: http://arxiv.org/abs/2606.27580v1
• Date: Thu, 25 Jun 2026 22:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.321223
• Title: Retroactive Advantage Correction: Closed-Form V-Trace Bias Correction for Delay-Aware RLHF
• Title（参考訳）: Retroactive Advantage Correction: Closed-Form V-Trace Bias Correction for Delay-Aware RLHF
• Abstract要約: コード実行検証、遅い判断アンサンブル、キューされたヒューマンレビューは、それらを生成したロールアウト後に数ステップを返すことができる。 我々はこのギャップをRetroactive Advantage Correction (RAC) で解決する。 RACは閉形式のポリシーバイアスを2スローチャネル構成で47.9倍まで削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning from human feedback (RLHF) in production does not always have a synchronous reward signal. Code-execution verifiers, slow judge ensembles, and queued human review can return several gradient steps after the rollout that produced them, breaking the synchronous-reward assumption underlying standard PPO. We address this gap with Retroactive Advantage Correction (RAC): each pending slow completion is queued, aged through a non-negative kernel, and reinjected as a clipped residual into the next optimiser step's advantage. We prove that under an unbiased clipped importance ratio, the cumulative RAC correction is exactly unbiased when the effective delay kernel reinjects all of its mass, and carries a bias linear in the unreinjected fraction otherwise; at the no-delay identity kernel it reduces to V-trace. On a tabular Markov decision process (MDP) proof-of-concept, RAC reduces the closed-form policy bias by up to 47.9x at the two-slow-channel configuration, beating wait-for-slow at lower wall-clock cost. RAC integrates with PPO and GRPO through a two-line reward-manager patch.
• Abstract（参考訳）: 実運用におけるヒューマンフィードバック(RLHF)からの強化学習は、必ずしも同期報酬信号を持っているとは限らない。 コード実行検証、遅い判断アンサンブル、キューされたヒューマンレビューは、それらを生成したロールアウト後にいくつかの勾配ステップを返すことができる。 我々は、このギャップをRetroactive Advantage Correction (RAC) で解決する。各保留中の遅い完了は、非負のカーネルを通してキューされ、切断された残留物として次のオプティマイザステップの利点に再帰される。 実効遅延カーネルが全質量をリジェクトし、そうでなければ未還元分率に偏りが生じると、累積RAC補正は正確に非バイアス化され、非遅延アイデンティティカーネルではVトレースに還元される。 表形式のマルコフ決定過程(MDP)において、RACは閉形式の政策バイアスを2スローチャネル構成で最大47.9倍に減らし、ウォールクロックコストを下げる。 RACは2行の報酬管理パッチを通じてPPOとGRPOを統合している。

関連論文リスト

• LeanGRPO: Eliminating Redundant Recomputation in Diffusion RL [18.67514175891835]
  拡散強化学習(RL)は,最近,映像生成モデルや映像生成モデルにおいて大きな成功を収めている。 DanceGRPOやFlowGRPOを含むほとんどのRLメソッドは、ロールアウト後の勾配追跡で選択した時間ステップを再計算する。 本稿では、データ並列レイアウトを再構築し、トラジェクトリ-ログプロブ計算RLのための2つの再計算不要なトレーニングスケジュールを導入することにより、LeanGRPOを提案する。
  論文  参考訳（メタデータ） (2026-09-03T08:24:56Z)
• PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
  ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。 既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。 本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T04:04:32Z)
• SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
  本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。 我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2026-06-27T01:32:16Z)
• Dynamical Decoupling using Universal Optimal Tracking [0.3070939646558157]
  DD配列を設計するための完全に状態に依存しない設定に、元の追跡概念を拡張した普遍的最適追跡手法を導入する。 超伝導量子ビットプラットフォーム上での実験実験により、静的制御不完全条件下での誤差蓄積の抑制が確認された。 これらの結果は、ノイズの多い量子デバイスに適した短く堅牢なDDシーケンスを設計するための実用的でハードウェアに依存しないアプローチとして最適追跡を確立する。
  論文  参考訳（メタデータ） (2026-06-19T21:25:00Z)
• FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization [15.427278126226662]
  FlowPROは、フローマッチングポリシーのための報酬なし、オフラインで強化された微調整フレームワークである。 本稿では,VLAモデルのフローマッチング動作ヘッドに適した優先最適化対象であるRPROを提案する。 FlowPROは最高成功率に達し、4つの代表的なベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-03T21:47:43Z)
• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum [16.032739611868685]
  非同期分散勾配トレーニング(SGD)は、スケーラブルな分散トレーニングを可能にするが、安定性に悩まされる。 遅延依存学習率や安定度認識トレーニングといった既存の緩和戦略は、通常遅延勾配を廃止または廃止する。 本稿では,安定度を緩和しながら遅延勾配から情報を保存するために,モーメントに基づく非同期フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-03T20:24:24Z)
• Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism [11.019309466529643]
  本稿では,各RLHFイテレーションの生成段階でTPを再構成する適応型TP手法であるPATを提案する。 オンライン再構成メカニズムは、TPの変更によって影響を受ける状態とレイアウトだけを更新する。 PATは、オリジナルのVeRLセットアップと比較して、生成遅延を最大34.6%削減し、エンドツーエンドのRLHFトレーニングレイテンシを最大27.2%削減する。
  論文  参考訳（メタデータ） (2026-05-03T05:53:32Z)
• Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning [37.981949917083746]
  テスト時強化学習(TTRL)は常に擬似ラベルによる推論時にモデルを適応させる。 本稿では,突発的なシグナルを緩和する統合フレームワークであるDebiased and Denoised test-time Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-04-23T06:32:08Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。