論文の概要: Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.30882v1
• Date: Thu, 22 Oct 2026 08:03:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.276276
• Title: Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
• Title（参考訳）: 継承された、発明されていない:推論モデルにおけるウェイトの存在の追跡
• Abstract要約: 強化学習は、ステップを再考する前に待ち行列を書くための推論モデルを教えることでクレジットされている。 このビューは、RLが発見するものと、モデルをトレーニングデータから継承するものとを混同することができる。 我々は、オープンモデルのトレーニング履歴を通じて単語をトレースし、ラベルなしの頻度、位置、形、使用率の指標で読み取る。
• 参考スコア（独自算出の注目度）: 40.047207536342064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is credited with teaching reasoning models to write {wait} before reconsidering a step, yet large RL accuracy gains do not require the word. This view can confuse what RL discovers with what a model inherits from its training data. We trace the word through open models' training histories, reading it with label-free indices of frequency, position, form and usage and an injected-error test, all computed from sampled outputs. We find that zero-RL almost never coins the marker: on bases that lack the word, RL raises MATH-500 accuracy substantially while {wait} stays near absent. It arrives with training data: mid-training in OLMo-3, and fine-tuning on reasoning traces installs it in most models whose base lacks it. Where the base already uses it, both released RL-Zero recipes (OLMo-3, MiMo) multiply it, whereas KL-free GRPO from the same base does not; OLMo-3's recipe wears down its form and makes it a more sensitive but more liberal alarm; RL after supervised fine-tuning barely changes it, and our GRPO recipe erases a marker seeded by fine-tuning. Finally, we show that marker frequency alone does not indicate RL-induced reasoning and caution against LLM-as-a-judge revision metrics, as automated judges can reverse human-labelled trends.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、ステップを再考する前に「待ち」を書くための推論モデルを教えることで知られているが、大きなRLの精度向上は単語を必要としない。 このビューは、RLが発見するものと、モデルをトレーニングデータから継承するものとを混同することができる。 我々は、オープンモデルのトレーニング履歴を通じて単語をトレースし、ラベルなしの頻度、位置、形、使用率の指標と、すべてサンプル出力から計算されたインジェクトエラーテストで読み取る。 RLはMATH-500の精度を著しく上げますが、 'wait' はほとんど欠落しています。 OLMo-3のミッドトレーニングと、推論トレースの微調整は、ベースが不足しているほとんどのモデルにインストールされる。 RL-Zero のレシピ (OLMo-3, MiMo) と、KL-free GRPO の2つのレシピ (OLMo-3, MiMo) を掛け合わせているのに対して、同じベースからのKL-free GRPO のレシピは、そのフォームを覆い、より敏感だがよりリベラルなアラームにしている。 最後に,マーカー周波数だけでは RL による推論や LLM-as-a-judge 修正基準に対する注意が示されないことを示す。

関連論文リスト

• Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining [20.698144423804177]
  プリトレーニングされたコーパスからテキストを取得し、RLの前にベースモデルの事前トレーニングを続けるために、フェール$n$-gramsを使用します。 本稿では,(1) GSM8KでRLで学習したOLMo2とQwen3モデル,(2)数学,常識,知識の混合,(3)一般数学と科学の推論について評価する。
  論文  参考訳（メタデータ） (2026-10-19T05:48:15Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
  強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。 この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
  論文  参考訳（メタデータ） (2026-05-07T13:25:05Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。