論文の概要: RLVR landscapes for iterated multiplications can be benign: Insights from spin-glass theory

• arxiv url: http://arxiv.org/abs/2609.28625v1
• Date: Wed, 23 Sep 2026 18:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.461221
• Title: RLVR landscapes for iterated multiplications can be benign: Insights from spin-glass theory
• Title（参考訳）: 反復乗法のためのRLVRランドスケープは無視できる:スピングラス理論からの考察
• Abstract要約: 本稿では,RLVRの反復群や準群乗算などのアルゴリズム的タスクに対する最適化環境について検討する。 理論的にも実験的にも、非相関な入力を持つ広範囲のモデルやタスクに対して、この風景は良質であることを示す。 我々は,ゼロから学習した変換器が,非アベリア群を反復的に乗算するアルゴリズムの連鎖を学習することに成功した。
• 参考スコア（独自算出の注目度）: 5.872662447648234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the importance of reinforcement learning with verifiable rewards (RLVR), the extent to which it can learn new reasoning capabilities remains debated. Here we study the optimization landscape of RLVR on algorithmic tasks, such as iterated group and quasigroup multiplication. To this end, we map entropy-regularized RLVR over myopic tabular policies onto an energy-based (spin-glass) model over deterministic policies. This mapping upper-bounds what RLVR can achieve, and lets us rigorously characterize the landscape in this tabular setting. We show, both theoretically and experimentally, that for a wide class of models and tasks with uncorrelated inputs, this landscape is benign, containing no local minima that could trap RLVR training. Rather, the practical difficulty of these tasks appears to stem, at least in part, from issues such as diffusive barriers and gradient-estimation error in traversing the landscape. These are genuine obstacles that can prevent a solution from being found, but they are distinct from the landscape itself being rugged. We show that these obstacles can often be mitigated through the choice of entropy regulator. Consistent with this theory, we find that a transformer trained from scratch, using only last-token rewards, successfully learns an algorithmic chain of thought for iterated non-Abelian group multiplications.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習の重要性にもかかわらず、新たな推論能力の習得の程度については議論が続いている。 本稿では,RLVRの反復群や準群乗算などのアルゴリズム的タスクに対する最適化状況について考察する。 この目的のために、エントロピー規則化されたRLVRを筋電図表ポリシーより、決定論的ポリシーよりもエネルギーベース(スピングラス)モデルにマッピングする。 このマッピングは、RLVRが達成できることを上界に表示し、この表の設定でランドスケープを厳格に特徴づけます。 理論的にも実験的にも,RLVRトレーニングを阻止できる局所的なミニマを含まない,非相関な入力を持つモデルやタスクの幅広いクラスにおいて,この景観は良性であることを示す。 むしろ、これらのタスクの実践的な難しさは、少なくとも部分的には、ランドスケープを横断する際の拡散障壁や勾配推定誤差といった問題に起因しているように見える。 これらは、解が見つかるのを防げる真の障害であるが、地形自体が荒れ果てているものとは異なっている。 これらの障害は、エントロピーレギュレータの選択によって緩和されることが多い。 この理論に従えば、最後の報酬のみを用いてゼロから訓練された変換器が、反復された非アベリア群乗法に対する思考のアルゴリズム的連鎖をうまく学習できることが分かる。

関連論文リスト

• BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences? [5.571635164072802]
  検証可能な報酬付き強化学習(RLVR)は、様々な推論タスクにわたる大規模言語モデル(LLM)の性能を改善した。 我々は,RLVR学習LLMにおける試験時間探索の性質を,制御された迷路解法実験を用いて,数学的推論トレースから木構造を抽出することによって検討した。 以上の結果から,RLVRモデルにおけるポリシエントロピー崩壊は,単に統語的ではなく,意味的分岐エントロピーの大幅な減少を伴っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-03T20:37:54Z)
• Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。 我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する 本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
  論文  参考訳（メタデータ） (2026-06-13T20:13:37Z)
• On the Learning Dynamics of RLVR at the Edge of Competence [86.52481827737097]
  検証可能な報酬(RLVR)による強化学習は、大規模な推論モデルにおける最近のブレークスルーの主要な要因である。 コンポジション推論タスクにおける変圧器のRLのトレーニング力学の理論を開発する。
  論文  参考訳（メタデータ） (2026-02-16T16:03:08Z)
• Adaptive Ability Decomposing for Unlocking Large Reasoning Model Effective Reinforcement Learning [82.91265691530351]
  A$2$Dは、検証可能な報酬による強化学習の有効性を高めるための適応能力分解手法である。 まず、蒸留なしでRLVRを介して分解器を訓練し、複雑な質問を単純なサブクエストの集合に分解する。 次に、このデコンパイラを使用して、トレーニングデータセットの各質問に対するサブクエストをアノテートし、サブクエストガイダンスを用いてRLVR下での推論をトレーニングする。
  論文  参考訳（メタデータ） (2026-01-31T14:48:23Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models [31.773914661815393]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要な手法である。 最近の証拠は、拡張するのではなく、パラドックス的に推論境界を縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析することにより,RLVRの縮小問題を考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:17:27Z)
• The Invisible Leash: Why RLVR May or May Not Escape Its Origin [47.488691410579925]
  RLVRの現在の実践がモデルの推論境界を真に拡張するかどうかは不明である。 現在の訓練条件下では、RLVRはサポート制約付き最適化メカニズムとして動作することができる。 RLVRは精度を確実に向上させるが、探索は徐々に狭くなり、正しく表現されていない解を見落としてしまう可能性がある。
  論文  参考訳（メタデータ） (2025-07-20T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。