論文の概要: Consolidating Rewarded Perturbations for LLM Post-Training
- arxiv url: http://arxiv.org/abs/2605.31494v1
- Date: Fri, 29 May 2026 16:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.73479
- Title: Consolidating Rewarded Perturbations for LLM Post-Training
- Title（参考訳）: LLM後処理のための整合的逆流摂動
- Abstract要約: CoRPは、報酬重み付けアグリゲーション、互換性を意識した再重み付け、ホールドアウトバリデーションゲートを組み合わせた、勾配のない演算子である。
我々は、CoRPがシングル推論のRandOptを6.5ポイント超え、50パスの多数投票アンサンブルの利得の半分以上を回復することを示した。
- 参考スコア（独自算出の注目度）: 18.379594820233173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training of language models is commonly framed as a sample-score-update loop implemented by gradient descent. A recent line of work, exemplified by RandOpt, relocates this loop to weight space, sampling Gaussian perturbations around a pretrained model and ensembling the top-K rewarded specialists at inference. While competitive with PPO and GRPO under matched training compute, this prediction-level ensemble incurs K forward passes per test example and does not extend cleanly to free-form generation. We ask whether the rewarded population can instead be folded into a single deployable model, replacing the inference-time ensemble with one consolidated update. A split-half analysis over 25 model-task pairs reveals reproducible low-rank structure in every case. We turn this geometry into CoRP (Consolidating Rewarded Perturbations), a gradient-free operator that combines reward-weighted aggregation, compatibility-aware reweighting, and a held-out validation gate, with no gradient flowing through the language model. Across five language models from 0.5B to 8B and five tasks covering math, code, and creative writing, CoRP improves the base model by 8.1 points on average. Using one tenth of RandOpt's perturbation budget, CoRP exceeds single-inference RandOpt by 6.5 points and recovers more than half of the gain of the 50-pass majority-vote ensemble, at one forward pass per test example.
- Abstract（参考訳）: 言語モデルのポストトレーニングは、勾配降下によって実装されたサンプルスコア更新ループとして一般的にフレーム化される。
RandOptによって実証された最近の研究の行は、このループを重み空間に移動させ、事前訓練されたモデルのガウス摂動をサンプリングし、推論時に上位Kの専門家に報奨を与える。
PPOとGRPOは一致したトレーニング計算の下で競合するが、この予測レベルのアンサンブルはテスト例毎にKフォワードを発生させ、クリーンにフリーフォーム生成に拡張しない。
我々は、報奨された集団を単一のデプロイ可能なモデルに折り畳み、推論時間アンサンブルを1つの統合されたアップデートに置き換えるかどうかを問う。
25のモデル・タスク対に対する分割半解析では、すべてのケースにおいて再現可能な低ランク構造が示される。
我々は、この幾何をCoRP(Consolidating Rewarded Perturbations)に変換する。これは、報奨重み付け、互換性を意識した再重み付け、および保留検証ゲートを組み合わせた勾配のない演算子で、言語モデルを通して勾配が流れることはない。
0.5Bから8Bまでの5つの言語モデルと、数学、コード、クリエイティブな記述を含む5つのタスクに対して、CoRPはベースモデルを平均8.1ポイント改善する。
ランチョップの摂動予算の10分の1を使用して、CoRPはシングル推論のRandOptを6.5ポイント上回り、50パスの多数決のアンサンブルの利得の半分以上をテスト例1回につき1フォワードパスで回復する。
関連論文リスト
- BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing [0.898478290216692]
BLOOM-WILTは、トレーニングコストやターゲットの次のトーケン分布を越えてアクセスすることなく、レアな振る舞いの自然なマルチターンインスタンスを提供する。
WILTを4つのターゲットモデルと8つの動作で評価し、32設定のうち30設定でベースライン監査を破る。
論文 参考訳（メタデータ） (2026-08-31T17:10:59Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Bridging the Generalization Gap in Adverse Weather Segmentation: A Training Recipe Perspective [9.751481477523956]
本稿では,5つの気象条件で劣化した屋外シーンのセマンティックセグメンテーションを目的とした第8回UG2ワークショップ(CVPR 2026)トラック2について述べる。
私たちが観察する中心的な課題は、厳密な一般化ギャップです -- 検証セットでうまく機能するモデルは、テストセットでしばしば崩壊します。
アーキテクチャの複雑さよりも、慎重に設計されたトレーニングレシピが、このギャップに対処できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-05-27T04:55:34Z) - Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。
次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。
AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
論文 参考訳（メタデータ） (2026-05-20T12:57:37Z) - Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models [44.082049677105964]
拡散およびフローマッチングモデルは、事前学習が監督された回帰であるため、スケールする。
この構造がRLポストトレーニングにまで拡張されていることを示す。
KL-正規化報酬の下では、最適生成過程はより高い報酬を持つ試料に対してクリーンエンドポイント分布を傾ける。
Reinforce Adjoint Matching (RAM: Reinforce Adjoint Matching) を導出します。
論文 参考訳（メタデータ） (2026-05-11T15:56:29Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。