論文の概要: Revisiting scaling laws for reward optimization

• arxiv url: http://arxiv.org/abs/2609.38526v1
• Date: Tue, 29 Sep 2026 20:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.722521
• Title: Revisiting scaling laws for reward optimization
• Title（参考訳）: 報酬最適化のためのスケーリング法則の再検討
• Abstract要約: パフォーマンスが$(stminlog(M,K)$で、M$はトレーニングデータの比較の数で、K$はポリシーの分岐予算です。 当社のスケーリング法則は、優れた適合性(R2は97%から99%)を提供し、代替仕様よりも優れ、モデルのサイズ、ノイズ、最適化手順にわたって堅牢です。
• 参考スコア（独自算出の注目度）: 4.957619545367733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws for optimization against reward models in AI alignment have pinned down how performance depends on optimization effort---measured by a KL-divergence budget relative to a reference policy. Beyond a certain budget, over-optimization (or reward hacking) can arise: because we optimize against a proxy reward model (distinct from true rewards), performance can plateau or degrade. Naturally, the proxy reward's accuracy depends on how much preference data (often in the form of pairwise comparisons) was used to train it. However, existing research does not cleanly identify how performance jointly scales with the amount of training data and the divergence budget. Our main contribution is to provide an empirically accurate and theoretically grounded scaling law in such context. Performance roughly scales as $Θ(\sqrt{\min\{\log(M),K\}})$, where $M$ is the number of comparisons in training data and $K$ is the policy's divergence budget. We develop an information-theoretic model to establish this upper bound and prove it is tightly achievable through a constructive procedure. Informed by this, we conduct extensive empirical evaluations using a real-world annotation setup, whereby a large 70B gold reward model generates feedback data and proxy reward models are trained from less capable models (0.6B to 4B). Our scaling law provides an excellent fit (R2 from 97\% to 99\%), outperforms alternative specifications, and remains robust across model sizes, noise, and optimization procedures (best-of-$N$ or policy tilting). Our evidence suggests that reward optimization is analogous to a surprisingly simple selection task: choosing from a sequence of IID Gaussian random variables using noisy preference feedback.
• Abstract（参考訳）: AIアライメントにおける報酬モデルに対する最適化の法則のスケーリングは、参照ポリシに対するKL分割予算によって測定される、最適化の取り組みにパフォーマンスが依存するかを明確にしている。 特定の予算を超えると、過剰な最適化(あるいは報酬のハッキング)が発生する可能性がある。プロキシ報酬モデル(真の報酬とは別物)に対して最適化するため、パフォーマンスは低下または低下する可能性がある。 当然、プロキシ報酬の精度は、そのトレーニングにどれだけの好みデータ(しばしばペア比較の形で)を使用したかによって異なります。 しかし、既存の研究では、トレーニングデータと分散予算の量とともに、パフォーマンスがどうスケールするかを明確化していない。 我々の主な貢献は、そのような文脈で経験的に正確で理論的に基礎付けられたスケーリング法を提供することである。 ここでは、$M$はトレーニングデータの比較の数であり、$K$はポリシーの分岐予算である。 我々は,この上界を確立するための情報理論モデルを開発し,構築手順によって密に達成可能であることを証明した。 これにより,70Bゴールド報酬モデルがフィードバックデータを生成し,プロキシ報酬モデルがより能力の低いモデル(0.6Bから4B)からトレーニングされるような実世界のアノテーション設定を用いて,広範な経験的評価を行う。 当社のスケーリング法則は、優れた適合性(R2は97\%から99\%)を提供し、代替仕様よりも優れ、モデルサイズ、ノイズ、最適化手順(最良$N$またはポリシー傾き)にわたって堅牢である。 我々の証拠は、報酬最適化が驚くほど単純な選択タスクに類似していることを示しており、ノイズ優先フィードバックを用いてIDDガウス確率変数列から選択する。

関連論文リスト

• FAIL: Flow Matching Adversarial Imitation Learning for Image Generation [52.643484089126844]
  フローマッチングモデルのポストトレーニング-高品質な目標値による出力分布の調整-数学的にはImitation Learningと等価である。 本研究では,明示的な報酬やペア比較を伴わずに,対人訓練による政策-専門的差異を最小限に抑えるフローマッチング・アドリアラーニング(FAIL)を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:36:33Z)
• Predicting and improving test-time scaling laws via reward tail-guided search [11.49701649103495]
  テストタイムのスケーリングは、大規模言語モデルの推論能力を向上するための重要な道として現れました。 テール誘導探索によるスケーリング特性の予測と改善のための新しい手法を提案する。 本手法は,報酬のテール分布を推定することにより,総括評価を必要とせず,LLMのスケーリング法則を予測する。
  論文  参考訳（メタデータ） (2026-02-01T23:40:25Z)
• Inference-Time Reward Hacking in Large Language Models [29.829648695171425]
  リワードモデルは、正確性、有用性、安全性などの複雑なデシダータのプロキシとして機能する。 不正な報酬を過度に最適化することで、意図したアライメントの目標を覆し、全体的なパフォーマンスを低下させることができる。 ヘッジは報酬のハッキングを軽減し、数学、推論、人為的な設定において優れた報酬のゆがみのトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-24T02:05:25Z)
• Is Best-of-N the Best of Them? Coverage, Scaling, and Optimality in Inference-Time Alignment [54.787826863212146]
  推論時間計算は、言語モデルのパフォーマンスをスケールするための強力な軸を提供する。 我々は, (i) 応答品質, (ii) 計算量の観点から, 推論時アライメントアルゴリズムの性能を解析する。 我々は$textttInferenceTimePessimism$を紹介した。これは推論時間計算の故意使用を通じて報酬ハッキングを緩和する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-27T18:00:08Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。 我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。 以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Contextual Linear Optimization with Partial Feedback [35.38485630117593]
  本研究では,異なるタイプのフィードバックを持つ文脈線形最適化(CLO)のためのオフライン学習アルゴリズムのクラスを提案する。 我々は,IERMに対して,不特定モデルクラスとフレキシブルな推定方法の選択を可能にする,新しい高速遅延境界を提供する。
  論文  参考訳（メタデータ） (2024-05-26T13:27:27Z)
• Scaling Laws for Reward Model Overoptimization [19.93331579503503]
  我々は,ゴールド報酬モデルが,強化学習とベスト・オブ・n$サンプリングのどちらを用いて,プロキシ報酬モデルに対して最適化する際にどのようにスコアが変化するかを検討する。 また、報酬モデルデータセットのサイズ、報酬モデルと政策パラメータの数、および強化学習における報酬に付加されるKLペナルティの係数との関係について検討した。
  論文  参考訳（メタデータ） (2022-10-19T17:56:10Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。