論文の概要: Adapter Thickets: Splitting an RLVR Budget Beats Concentrating It
- arxiv url: http://arxiv.org/abs/2610.00991v1
- Date: Thu, 01 Oct 2026 03:25:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.878999
- Title: Adapter Thickets: Splitting an RLVR Budget Beats Concentrating It
- Title（参考訳）: Adapter Thickets:RLVRの予算を分割して集中させる
- Abstract要約: 完全なRLVR予算で1つのLoRAアダプタをトレーニングすると、テスト対象のモデル毎にシングルサンプルの精度が上がります。
4つのモデルのうち3つは、トレーニングされていないベースモデルの過半数を4.8ドルまで下回っている。
原因は、RLVRそのものではなく集中である。その計画が採決と採決を行う場合、RLVR予算は、深さよりも広く使われるのがよい。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Majority voting over sampled completions is the workhorse of test-time scaling, and reinforcement learning with verifiable rewards (RLVR) is the workhorse for making each completion better. The standard pipeline composes the two: train one policy with RLVR, then sample it many times and vote. We show that this composition is lossy. A vote can only overturn mistakes that its voters do not share, and RLVR sharpens a policy so that its samples increasingly make the same mistakes. With every method drawing exactly $160$ completions per problem, training a single LoRA adapter on the full RLVR budget raises single-sample accuracy on every model we test ($1.5$B-$8$B). Yet on three of four models it leaves the majority vote below that of the untrained base model, by up to $4.8$ points. The damage builds during training: voter errors grow steadily more correlated, and the majority vote accuracy peaks early before falling by up to $7.0$ points. The cause is concentration, not RLVR itself. We split the same data and training budget across $K$ LoRA adapters, each trained on its own random disjoint shard, and call the result an adapter thicket. Thickets out-vote the fully trained adapter in all $16$ (model, $K$) settings, and for $K{\geq}4$ they stay within $0.8$ points of the base model or above it. A single adapter stopped early, at a thicket member's step count, is a strong control that matches thickets for small $K$. For $K{\geq}8$, thickets keep more of RLVR's single-sample gain and out-vote this control in six of eight settings. The cost of concentration also grows with the number of votes: from $16$ to $160$ votes, the thicket's lead over the fully trained adapter widens from $1.3$ to $3.3$ points. When the plan is to sample and vote, an RLVR budget is better spent broad than deep.
- Abstract（参考訳）: サンプリングされた完了に対する多数決は、テストタイムスケーリングのワークホースであり、検証可能な報酬(RLVR)による強化学習は、各完了をより良くするためのワークホースである。
RLVRで1つのポリシーをトレーニングし、それを何度もサンプリングして投票する。
この構成が損なわれていることを示す。
投票は有権者が共有していない誤りを覆すだけであり、RLVRは、サンプルがますます同じ間違いを犯すようにポリシーを精査する。
RLVRの予算で1つのLoRAアダプタをトレーニングすると、テストするすべてのモデルで1サンプルの精度が1.5ドルB〜8ドルB)上がります。
しかし、4つのモデルのうち3つは、トレーニングされていないベースモデルの過半数を4.8ドルまで下回っている。
トレーニング中に発生するダメージ: 有権者の誤差は着実に相関し、過半数の投票精度は7.0ドルまで下がる前にピークに達する。
原因は濃度であり、RLVR自体ではない。
私たちは同じデータとトレーニング予算を$K$ LoRAアダプタに分けて、それぞれがランダムな切り離しシャードでトレーニングし、その結果をアダプタの厚みと呼んでいる。
完全にトレーニングされたアダプタを16ドル(モデル、$K$)設定で外し、$K{\geq}4$の場合、ベースモデルの0.8ドルの範囲内に留まる。
1つのアダプタは、より太いメンバーのステップカウントで早期に停止し、小さな$K$の厚みにマッチする強力なコントロールである。
K{\geq}8$の場合、厚みはRLVRのシングルサンプルの利得を多く保ち、このコントロールを8つの設定のうち6つで無効にする。
16ドルから16ドルへ、そして完全に訓練されたアダプタのリードは1.3ドルから3.3ドルへ拡大した。
サンプルと投票の計画では、RLVR予算は深さよりも広い範囲に費やされている。
関連論文リスト
- Reinforcement Learning with Verifiable Rewards for Small Search Agents [0.9802224811027896]
因果探索のレシピは、RLVRをオープンドメインの質問応答に適用する。
グループ相対政策最適化を用いてQwen3.5-0.8Bを訓練する。
我々は,7ベンチマーク問合せスイートのすべてのチェックポイントを評価した。
論文 参考訳（メタデータ） (2026-09-23T20:21:55Z) - CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。
投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
論文 参考訳（メタデータ） (2026-08-10T09:06:03Z) - Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。
我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する
本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
論文 参考訳（メタデータ） (2026-06-13T20:13:37Z) - Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。
Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。
Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
論文 参考訳（メタデータ） (2026-03-25T22:10:36Z) - $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。
チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。
再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
論文 参考訳（メタデータ） (2026-03-07T13:17:46Z) - Detecting RLVR Training Data via Structural Convergence of Reasoning [31.260852555788205]
検証可能な報酬(RLVR)による強化学習は、現代の推論モデルのトレーニングの中心である。
RLVRは特徴的な行動シグネチャを誘導することを示す。
この崩壊を定量化する単純なブラックボックス検出器であるMin-$k$NN Distanceを導入する。
論文 参考訳（メタデータ） (2026-02-12T10:17:32Z) - Golden Goose: A Simple Trick to Synthesize Unlimited RLVR Tasks from Unverifiable Internet Text [90.21130870640057]
Golden Gooseは、未検証のインターネットテキストから無制限のRLVRタスクを合成するトリックだ。
大規模なRLVRデータセットであるGoseReason-0.7Mを合成するために、推論に富んだ検証不可能なコーパスを利用する。
また、Golden Gooseを現実の環境で展開し、サイバーセキュリティドメイン用の生のFinWebスクラップからRLVRタスクを合成します。
論文 参考訳（メタデータ） (2026-01-30T13:39:11Z) - Diagnosing and Mitigating System Bias in Self-Rewarding RL [37.83913102876393]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を拡大するが、継続するデータスケーリングのためにラベル付きサンプルの制限によりボトルネックが残る。
モデルは高信頼のロールアウトを過大評価する傾向があり、バイアスがあり不安定な報酬推定につながる。
本稿では,多種多様なモデルを集約し,報酬とロールアウトの選択に適応する強化学習(RLER)を提案する。
論文 参考訳（メタデータ） (2025-10-10T03:38:17Z) - Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards [110.47944672736723]
我々は、RLVR税、評価落とし穴、データ汚染という3つの力によって利回りが過大評価されることが多いと論じている。
本稿では, 精度, グラウンド, キャリブレーションを両立させる税意識訓練・評価プロトコルを提案する。
論文 参考訳（メタデータ） (2025-09-26T05:06:25Z) - Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。
RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。
本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
論文 参考訳（メタデータ） (2025-06-17T07:06:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。