論文の概要: Does Chain-of-Thought Reliance Follow a Scaling Law?Larger Models Follow Their Steps More, Independent of Post-Training
- arxiv url: http://arxiv.org/abs/2610.38433v1
- Date: Wed, 28 Oct 2026 08:16:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.383091
- Title: Does Chain-of-Thought Reliance Follow a Scaling Law?Larger Models Follow Their Steps More, Independent of Post-Training
- Title（参考訳）: チェーン・オブ・フォールト・信頼性はスケーリング法則に従うか?
- Abstract要約: 我々は、合成ボックススワップタスクにおいて、正確な基底真理に対してモデルの思考の連鎖を測定する。
モデル自身のチェーン内のひとつのステップを間違ったが有効な状態に置き換えて、その答が編集に従うかどうかを確認します。
Qwen3 (0.6B-14B), ベースおよびポストトレーニング, Gemma 3 (1B-12B), Llama 3 (1B-8B), OLMo 2 チェックポイント(それぞれ7,200項目)の25個のオープンウェイトモデルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monitoring a model's chain of thought (CoT) is useful for safety only if the final answer depends on the written steps. Prior measurements use natural tasks where true reasoning is unknown. We measure it against an exact ground truth on a synthetic box-swap task where every intermediate state is known. We replace one step inside a model's own chain with a wrong but valid state and check whether the answer follows the edit. We evaluate 25 open-weight models--Qwen3 (0.6B-14B, base and post-trained), Gemma 3 (1B-12B), Llama 3 (1B-8B), and 8 OLMo 2 checkpoints--on 7,200 items each. We find five results: (1) Reliance rises with size and saturates. In Qwen3, answer reliance rises from 16-18% at 0.6B to 97-100% at 14B; a logistic in log N fits well (R^2 = 0.89), and Gemma 3 and Llama 3 follow this trend. (2) Capability is the main driver. Across all models, reliance and step accuracy correlate at r = 0.99; equally capable models are equally reliant, regardless of family. (3) Size still matters at matched correctness. On problems solved correctly before the edit, reliance increases with size among capable models (rho = 0.80, p = 0.002). (4) Post-training does not change reliance. Base and post-trained Qwen3 differ by at most 0.03 from 4B upward; a large gap at 1.7B matches a large capability gap. (5) No model up to 14B solves the task internally. Without written steps, every capable model is at chance once a problem has four or more swaps. OLMo 2 checkpoints never become capable, making the training-token axis a limitation. On tasks requiring step-by-step computation, scale makes the chain of thought more load-bearing, supporting CoT monitoring in this regime.
- Abstract（参考訳）: モデルの思考連鎖(CoT)をモニタリングすることは、最終回答が記述されたステップに依存する場合に限り、安全性に有用である。
以前の測定では、真の推論が不明な自然のタスクを用いていた。
全ての中間状態が知られている合成ボックススワップタスクにおいて、正確な基底真理に対して測定する。
モデル自身のチェーン内のひとつのステップを間違ったが有効な状態に置き換えて、その答が編集に従うかどうかを確認します。
Qwen3 (0.6B-14B, base and post-trained), Gemma 3 (1B-12B), Llama 3 (1B-8B), 8 OLMo 2 チェックポイントをそれぞれ7,200項目で評価した。
1) 信頼性はサイズと飽和度とともに上昇する。
Qwen3では、答え依存度は16-18%から14Bで97-100%に上昇し、ログNのロジスティクスはうまく適合し(R^2 = 0.89)、Gemma 3とLlama 3はこの傾向に従っている。
2) キャパビリティがメインドライバである。
すべてのモデルにおいて、依存度とステップ精度は r = 0.99 で相関する。
(3) サイズはいまだに一致した正しさが問題である。
編集前に正しく解かれた問題については、有能なモデル(rho = 0.80, p = 0.002)のサイズによって依存が増大する。
(4) 訓練後, 依存度は変化しない。
ベースおよび後訓練のQwen3は4Bから少なくとも0.03の違いがあり、1.7Bの大きなギャップは大きな能力ギャップと一致している。
(5) 内部で14Bまでのモデルがない。
記述されたステップがなければ、問題に4つ以上のスワップがある場合、すべての有能モデルが偶然に発生する。
OLMo 2のチェックポイントは機能しなくなり、訓練用軸が制限される。
ステップバイステップの計算を必要とするタスクにおいて、スケールは思考の連鎖をよりロードバリングし、この体制でCoTモニタリングをサポートする。
関連論文リスト
- Toward Joint Optimization of Circuit Depth and Training Data Size in Adaptively Grown Quantum Classifiers [0.6531568167097592]
量子特徴マップ回路をゲートバイゲートで成長させることができ、さらに成長が止まることでトレーニング損失が向上することを示した。
トレーニングセットサイズと回路サイズQ-FLAIRとの予測可能な関係は見つからない。
論文 参考訳（メタデータ） (2026-10-08T17:55:57Z) - The Price of Correlated Tests: How Strict Should a Model Release Gate Be? [0.0]
機械学習モデルが出荷される前には、自動テストスイートをパスしなければならないことが多い。
私たちはリリースゲートを設計上の問題として扱い、モデルが通過すべきテスト数を選択して、クリアされたモデルが記述された信頼性の目標を満たすようにします。
両方のクラスが同じ遅延相関を持つ場合、より厳密なゲートが常に信頼性を高めることを証明します。
論文 参考訳（メタデータ） (2026-10-01T03:27:54Z) - Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。
自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。
選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
論文 参考訳（メタデータ） (2026-09-28T05:07:24Z) - In-Context Binding Capacity in Language Models [0.0]
我々は、どの値がどのエンティティに属しているかを追跡する前に、言語モデルがリコールできる割り当て数を計測する。
負荷依存リコールプロファイルが変更されていない場合でも、単一結合リコールを減らすことで、干渉が測定能力を低減することができる理由を導出する。
論文 参考訳（メタデータ） (2026-09-24T23:41:03Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling [0.0]
16家系の63塩基モデルにおける推論と真理の結合度を測定した。
我々は、家族依存の臨界スケール(N_c$)以下の損失曲線を目に見えない体制変化を発見し、その上、彼らは協力する。
論文 参考訳（メタデータ） (2026-05-13T03:14:09Z) - Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning [0.0]
Chain-of-Thoughtの説明は、言語モデルが複雑な問題を解決する方法を理解するために広く使われている。
モデルの意思決定プロセスに個別の推論ステップが忠実かどうかを測定する指標である正規化論理差判定(NLDD)を提案する。
論文 参考訳（メタデータ） (2026-02-04T21:55:57Z) - Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。
Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
論文 参考訳（メタデータ） (2025-10-30T04:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。