論文の概要: The Cost of Mismatch: Noise Amplification in Zeroth-Order Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.03260v1
• Date: Mon, 02 Nov 2026 15:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:28:58.699493
• Title: The Cost of Mismatch: Noise Amplification in Zeroth-Order Reinforcement Learning
• Title（参考訳）: ミスマッチのコスト:ゼロ階強化学習における雑音増幅
• Abstract要約: 我々は、ZO勾配推定の信頼性を制限するための一般的な分散理論フレームワークを開発する。 一致したデータに対して2つの有限差分評価を行うか否かによって、推定信頼性が構造的に決定されることを示す。 実験の結果、ZO-BOLTはトレーニング済みのベースラインを継続的に改善し、ほぼ参照メモリのフットプリントを保持することがわかった。
• 参考スコア（独自算出の注目度）: 17.394046130923204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order (ZO) optimization has emerged as a promising approach for memory-efficient large language model (LLM) post-training, yet its reliable application to reinforcement learning with verifiable rewards (RLVR) remains largely unexplored. Motivated by the distinct data regimes of on-policy RL and fixed-data optimization, we develop a generic variance-theoretic framework to investigate what limits the reliability of ZO gradient estimation. Our analysis reveals that estimation reliability is structurally determined by whether the two finite-difference evaluations are performed on matched data. On-policy reinforcement learning (RL) under the mismatched-data regime produces a $1/μ^2$ oracle-noise amplification that sets an irreducible noise floor as the perturbation scale $μ$ decreases, whereas Boltzmann Targeted SFT (BOLT) under the matched-data regime eliminates this amplification via noise cancellation. We further derive convergence guarantees with explicit constants that cleanly separate the two regimes. These results naturally lead to ZO-BOLT, which applies ZO optimization to BOLT's RLVR-aligned weighted-SFT objective. Controlled perturbation-scale sweeps and matched-versus-mismatched end-to-end comparisons validate the predicted effect of data matching. Experiments across three model variants and two mathematical reasoning benchmarks further show that ZO-BOLT consistently improves over the pretrained baseline while retaining a near-inference memory footprint. The code is publicly available at https://github.com/lianmin-chen/the_cost_of_mismatch.
• Abstract（参考訳）: Zeroth-order (ZO) 最適化は,メモリ効率の高い大規模言語モデル (LLM) のポストトレーニングにおける有望なアプローチとして登場したが,検証可能な報酬 (RLVR) を用いた強化学習への信頼性の高い適用は,いまだほとんど検討されていない。 オンラインRLと固定データ最適化の異なるデータ構造に動機付けられ、ZO勾配推定の信頼性を制限するための一般的な分散理論フレームワークを開発する。 解析の結果, 一致したデータに対して2つの有限差分評価を行うか否かによって, 推定信頼性が構造的に決定されることがわかった。 ミスマッチデータ体制下でのオンライン強化学習(RL)は、1/μ^2$oracle-noise増幅を生成し、この増幅は、既約ノイズフロアを摂動尺度として$μ$減少させる一方、マッチングデータ体制下のボルツマン目標SFT(BOLT)はこの増幅をノイズキャンセリングによって排除する。 さらに、2つの体制をきれいに分離する明示的な定数を持つ収束保証を導出する。 これらの結果は自然にZO-BOLTにつながり、BOLTのRLVR対応重み付きSFT目的にZO最適化を適用する。 制御された摂動スケールのスイープと一致した逆ミスマッチしたエンドツーエンドの比較により、データマッチングの予測効果が検証された。 3つのモデル変種と2つの数学的推論ベンチマークによる実験により、ZO-BOLTは、ほぼ推論メモリのフットプリントを維持しながら、トレーニング済みのベースラインよりも一貫して改善されていることが示された。 コードはhttps://github.com/lianmin-chen/the_cost_of_mismatchで公開されている。

関連論文リスト

• Beyond Pairwise Repulsion: Collective Diversity via Determinant Maximization in Diffusion Sampling [6.580620949123592]
  DetNOは、初期ノイズに対してRKHSボリュームとして多種多様な生成を定式化する。 これは1ステップのツイーディ予測よりもRBFグラム行列の対数行列を最大化する。 DetNOはVendiScoreとMean Self-Similarityのバッチ内多様性をリードする。
  論文  参考訳（メタデータ） (2026-10-15T17:32:25Z)
• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Relative Score Policy Optimization for Diffusion Language Models [29.344961499429257]
  拡散大言語モデル(dLLMs)は、並列かつ効率的なテキスト生成への有望な経路を提供する。 抽出可能なシーケンスレベルのログ比の欠如により、既存の手法は高分散ELBOベースの近似に頼らざるを得なくなった。 textbfRelative textbfScore textbfPolicy textbfOptimization (RSPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T08:58:40Z)
• Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning [37.981949917083746]
  テスト時強化学習(TTRL)は常に擬似ラベルによる推論時にモデルを適応させる。 本稿では,突発的なシグナルを緩和する統合フレームワークであるDebiased and Denoised test-time Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-04-23T06:32:08Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• RI-Loss: A Learnable Residual-Informed Loss for Time Series Forecasting [13.117430904377905]
  時系列予測は、過去のデータから将来の値を予測することに依存する。 MSEには2つの根本的な弱点がある:そのポイントワイドエラーは時間的関係を捉えるのに失敗し、データに固有のノイズを考慮しない。 我々は,Hilbert-Schmidt Independence Criterion(HSIC)に基づく新たな目的関数であるResidual-Informed Loss(RI-Loss)を紹介する。
  論文  参考訳（メタデータ） (2025-11-13T09:36:00Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。