論文の概要: Base Models Can Reason By Taking a Cue From Training Data

• arxiv url: http://arxiv.org/abs/2610.06851v1
• Date: Mon, 05 Oct 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 22:04:41.453154
• Title: Base Models Can Reason By Taking a Cue From Training Data
• Title（参考訳）: トレーニングデータからヒントを得たベースモデル
• Abstract要約: 本研究では,基本モデルの応答開始時のトークンと,それに続く推論行動との関連性について検討する。 特定の開始トークンキューの修正は、数学やコーディングに関する強化学習による学習結果と、ベースモデルのパフォーマンスを競合させることがわかった。 トークンキューの研究を言語モデルの安全性に関するケーススタディで拡張し、異なるキューが異なるタイプのトレーニングデータに対応する異なる拒絶とコンプライアンスの行動を引き起こすことを発見した。
• 参考スコア（独自算出の注目度）: 49.06896989304574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study how training data creates associations between the tokens at the start of a base model's response and the reasoning behavior that follows. First, we demonstrate that fixing particular starting token cues makes a base model's performance competitive with that of its reinforcement learning (RL)-trained counterparts on math and coding. For instance, the cue ".\n\nOkay" raises Olmo-3-7B's MATH-500 pass@1 accuracy from 42% to 78%, while "Alright," raises Qwen3-14B's from 72% to 87%. Second, RL makes these cues more likely, while fixing them recovers much of its performance gain over the base model. Third, we trace the reasoning effects of token cues to the training data. We perform causal data interventions to turn an arbitrary word, such as "chicken", into an effective reasoning cue, or remove an existing cue's effect. A similar edit makes the prompt instruction "Think duck duck goose" as effective as "Think step by step" at eliciting reasoning. We also find that the hidden state representations induced by different cues correlate with different document types from the training set. Finally, we extend our study of token cues with a case study in language model safety, finding that different cues elicit distinct refusal and compliance behaviors that correspond to different types of training data.
• Abstract（参考訳）: 本稿では,基本モデルの応答開始時のトークンと,それに続く推論行動との関連性について検討する。 まず、特定の開始トークンキューの修正によって、数学とコーディングに関する強化学習(RL)による学習と、ベースモデルのパフォーマンスが競合することを示す。 例えば、cue"。 \n\nOkay" は Olmo-3-7B の MATH-500 パス@1 の精度を 42% から 78% に引き上げ、"Alright" は Qwen3-14B を 72% から 87% に引き上げる。第二に、RL はこれらのキューをより高め、ベースモデルよりも多くのパフォーマンス向上を回復させる。第三に、トークンキューの推論効果をトレーニングデータにトレースする。因果データ介入を行ない、"chicken" のような任意の単語を効果的な推論キューに変換したり、既存のキューを削除したりする。同様の編集によって、"Think duck goose" というプロンプトインストラクションが"Think duck goose" のステップとして有効になる。 また、異なるキューによって誘導される隠れ状態表現は、トレーニングセットから異なるドキュメントタイプと相関することがわかった。 最後に、言語モデルの安全性に関するケーススタディにより、トークンキューの研究を拡張し、異なるタイプのトレーニングデータに対応する異なる拒否とコンプライアンスの振る舞いを、異なるキューが引き起こすことを発見した。

関連論文リスト

• Characterizing Model-Native Skills [16.891026204025838]
  スキルは、言語モデルに何ができるか、その振る舞いをどのように変えられるのかを記述するための自然なユニットである。 既存の特徴付けは人書き、テキスト記述、手動プロファイリングパイプラインに依存している。 モデルビヘイビアに介入することが目標である場合、スキルの特徴付けは*モデルネイティブ*でなければならない、と我々は主張する。
  論文  参考訳（メタデータ） (2026-04-19T20:58:25Z)
• Reasoning Through Chess: How Reasoning Evolves from Data Through Fine-Tuning and Reinforcement Learning [7.920254637344918]
  理論的に着想を得たデータセットの集合がチェスにおける言語モデルのパフォーマンスにどのように影響するかを分析する。 最良の動きを直接予測するための微調整が、効率的なRLと最強のダウンストリーム性能につながることが分かりました。 RLは移動品質の分布にかなりの正の変化をもたらし, 副次効果として幻覚率を低下させることを示した。
  論文  参考訳（メタデータ） (2026-04-06T19:53:39Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• ConciseRL: Conciseness-Guided Reinforcement Learning for Efficient Reasoning Models [14.403953640255823]
  強化学習フレームワークに報酬信号として用いられる新しいスコアを導入し、モデルが正確かつ簡潔な推論トレースを生成するよう誘導する。 このスコアは、ジャッジとして機能する大きな言語モデルによって評価され、単純なトークン長を超えて動的でコンテキスト対応のフィードバックを可能にする。 提案手法は,MATHデータセット上での最先端の効率・正確性トレードオフを実現し,簡単な問題ではトークン使用率を最大31倍に削減し,精度を7%向上させるとともに,最も難しい問題では,トークン使用率を最大3.6倍に抑えながら,完全な推論を+7.5%向上させる。
  論文  参考訳（メタデータ） (2025-05-22T19:56:35Z)
• Improving the fact-checking performance of language models by relying on their entailment ability [3.371541812350348]
  本稿では,ファクトチェックのために,エンコーダのみの言語モデル(ELM)を訓練するための簡易かつ効果的な手法を提案する。 我々は厳密な実験を行い、我々のアプローチを最近の研究と比べ、アプローチの優位性を実証するために様々なプロンプトと微調整の戦略を実践した。
  論文  参考訳（メタデータ） (2025-05-21T03:15:06Z)
• MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining [60.02032710118597]
  提案するMiMo-7Bは,学習前の段階と学習後の段階にまたがって最適化された,推論タスクのための大規模言語モデルである。 MiMo-7B-Baseは25兆のトークンで事前訓練されており、性能の向上と推論速度の高速化を目標としている。 最後のRLチューニングモデルであるMiMo-7B-RLは、OpenAI o1-miniの性能を上回り、数学、コード、一般的な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-12T14:30:11Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。