論文の概要: Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces
- arxiv url: http://arxiv.org/abs/2610.36709v1
- Date: Tue, 27 Oct 2026 06:26:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.527514
- Title: Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces
- Title（参考訳）: Token Confidenceは単なるチェーン長か? レーリングトレースの信号処理による監査
- Abstract要約: 推論言語モデルは、長い思考の連鎖を書くことによって数学の問題に答える。
そのコストを削減するための一般的な方法は、モデルが記述するトークンに対する信頼度によって、各チェーンのスコアを下げます。
音声やラジオの信号として、トークンによって記録された信頼度を扱います。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning language models answer math problems by writing long chains of thought, and sampling many chains per problem and taking a majority vote raises accuracy at a large cost in generated text. A popular way to cut that cost scores each chain by the model's confidence in each token it writes, where a token is a word or part of a word. The method averages this confidence over a sliding window of 2048 tokens and keeps or stops chains based on the lowest average. We treat the confidence, recorded token by token, as a signal in the sense of audio or radio, and examine the method with standard signal-processing tools such as spectral analysis and statistical tests for detecting a sudden change. We sampled 16 chains for each of 500 problems from two math benchmarks with a small open reasoning model. The windowed-minimum score turns out to measure mostly how long a chain is. Ranking chains by length alone does as well as or better than the confidence score, and once length is accounted for the score carries no information about correctness. Signal processing explains why: the minimum of a longer stretch of a slowly drifting signal is lower by chance alone, and the confidence signal drifts slowly enough that this effect dominates. The spectrum does hold a small signal that length does not explain, since incorrect chains carry more rapid token-to-token fluctuation, but it is too weak to improve the vote. For stopping chains early, neither the sliding average nor a classical change detector beats the simpler choice of sampling fewer chains.
- Abstract（参考訳）: 推論言語モデルは、思考の長い連鎖を書き、問題ごとに多くの連鎖をサンプリングし、多数決を取ることで数学的な問題に答える。
そのコストを下げるための一般的な方法は、あるトークンが単語または単語の一部である場合の、記述する各トークンに対するモデルの信頼度によって、各チェーンをスコアする。
この方法は2048トークンのスライディングウィンドウ上でこの信頼度を平均し、最低平均に基づいてチェーンを維持または停止する。
本研究では,音声やラジオの信号として,トークンによる信頼度を扱い,スペクトル分析や統計検査などの標準信号処理ツールを用いて,突然の変化を検出する方法を検討した。
小さい推論モデルを持つ2つの数学ベンチマークから,500の問題をそれぞれ16のチェーンでサンプリングした。
ウィンドウ化された最小スコアは、連鎖がどれくらいの長さであるかを測る。
チェーンのランク付けは、信頼性スコアと同等かそれ以上であり、一度の長さが説明されれば、正確性に関する情報は得られない。
信号処理はその理由を次のように説明している: ゆっくり漂う信号の最小伸長は、偶然だけで小さくなり、信頼信号は、この効果が支配するほどゆっくり漂う。
このスペクトルは、不正な連鎖がより高速なトークン・ツー・トークンの変動をもたらすため、長さが説明できない小さな信号を保持するが、投票を改善するには弱すぎる。
チェーンを早期に停止するためには、スライディング平均も古典的な変化検出器も、より少ないチェーンをサンプリングする簡単な選択に勝る。
関連論文リスト
- RIFT: Token Influence Follows the Path of Least Resistance [0.0]
アテンションロールアウトやアテンションフローのようなグラフベースのツールは、これを1つのフォワードパスから答える。
我々はデコーダの層を,コンダクタンスを注意重みとする因果ネットワークとみなす。
本稿では,最小抵抗の経路の直列抵抗でトークンをスコアリングするRIFTを提案する。
論文 参考訳（メタデータ） (2026-10-12T08:06:28Z) - From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。
本稿では,これが新しい制御ハンドルを生成することを認識している。
論文 参考訳（メタデータ） (2026-08-14T18:00:08Z) - Length Penalties Make Chain-of-Thought Less Monitorable [0.0]
長いペナルティのトレーニングは、ステアリングモデルのヒントを誤解させるのを止めない。
ターゲット鎖長の異なるQwen3-4BとQwen3-14Bを訓練する。
MMLU-Pro-Rと4つの転送ベンチマークのバイアスヒント介入による評価を行った。
論文 参考訳（メタデータ） (2026-07-08T14:18:26Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge [87.51901436392427]
大規模言語モデルは、しばしばChain-of-Thought (CoT)でより効果的に複雑な推論タスクを解決する。
対照的に、人間は、しばしば、もっともらしい次のステップに対して、引力のある確率分布を維持することによって、柔らかに理にかなっている。
我々は、K候補トークンをサンプリングし、それらの埋め込みを1つの連続多重化トークンに集約するソフトな推論機構である多重思考を提案する。
モデルは自信を持っていれば、多重化トークンはほぼ独立しており、標準のCoTのように振る舞う。
論文 参考訳（メタデータ） (2026-01-13T18:48:00Z) - ChainV: Atomic Visual Hints Make Multimodal Reasoning Shorter and Better [59.29940512530982]
推論プロセスに視覚的ヒントを動的に統合するフレームワークChainVを提案する。
提案手法は,特に算数集約ベンチマークにおいて,推論精度と効率を大幅に向上させる。
論文 参考訳（メタデータ） (2025-11-21T10:11:17Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。
自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。
MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2025-09-29T16:44:22Z) - Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation [103.66549325018741]
現在のベンチマークの違いを示す2つの重要な指標を紹介します。
より優れた信号対雑音比を持つベンチマークは、小規模で意思決定を行う場合、より信頼性が高いことを示す。
結論は、新しいベンチマークを作成する人や、どの既存のベンチマークを使うかを選択する人は、高い信号と低いノイズを目標にすることを推奨する。
論文 参考訳（メタデータ） (2025-08-18T17:56:04Z) - Language Model Uncertainty Quantification with Attention Chain [9.093726246465117]
大規模言語モデル(LLM)の予測の不確実性は、その答えの信頼性を判断するために重要である。
UQACは,推論空間をトラクタブルなサイズに縮小し,限界化を実現するための効率的な手法である。
先進的なオープンソース LLM を用いた複数の推論ベンチマークにおいて,UQAC の有効性を検証した。
論文 参考訳（メタデータ） (2025-03-24T21:43:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。