論文の概要: What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content

• arxiv url: http://arxiv.org/abs/2609.25039v1
• Date: Wed, 26 Aug 2026 16:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.83938
• Title: What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content
• Title（参考訳）: チェーン・オブ・サート・エントロピーは何を測るのか?
• Abstract要約: 足場ボキャブラリ部分集合を設計することは、3つのエントロピー、クルバック-リーバー分岐、ソフトマックスポリシーの1次エントロピー速度を正確に分離する。 オープンな領域においてどの位置が大きなフォークであるか、コンテンツチャンネルによって答えの多様性が制限されているかは、生のコンベンションと内容のコンベンションが一致しないことを証明します。 圧縮では、コンテンツコンベンションが各セルの生の副産物を圧倒する。
• 参考スコア（独自算出の注目度）: 0.3437656066916039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entropy over chain-of-thought tokens decides which tokens receive the policy gradient, which get pruned, and whether a run has collapsed, yet each such statistic reads a next-token distribution mixing three choices: whether to emit connective scaffolding, which connective, and what the substantive continuation should be. Designating a scaffold vocabulary subset separates the three, exactly, for entropy, Kullback--Leibler divergence, and the first-order entropy velocity of a softmax policy. We prove the raw and content conventions disagree about which position is the larger fork on an explicit open region, and bound answer diversity by the content channel plus a leakage term a measured witness certifies. Across twenty-three configurations the scaffold side carries up to 41% of the raw high-entropy set; on a matched-tokenizer ladder, coupling changes only at the math-corpus step while the scaffold's entropy share keeps growing through distillation; a closed-form forecast from one channel correlation tracks selection retention over a 54-point range to five points, unfitted. On compression, the content convention beats raw surprisal in every cell; an answer-leakage audit then corrects our own headline control: re-fed chains earn a quarter to a half of their accuracy from restated answers, and once stripped, no token scorer beats a random contiguous block.
• Abstract（参考訳）: チェーン・オブ・シンクトのトークンに対するエントロピーは、どのトークンがプルーニングされるポリシー勾配を受け取り、ランが崩壊したかを決定するが、そのような統計は次の3つの選択肢を混合して読み取る。 足場ボキャブラリ部分集合を設計することは、3つのエントロピー、クルバック-リーバー分岐、ソフトマックスポリシーの1次エントロピー速度を正確に分離する。 明示的なオープン領域におけるどの位置が大きなフォークであるか、およびコンテンツチャンネルによる回答の多様性と、測定された目撃者認証の漏洩項に異を唱える。 足場側が生の高エントロピーセットの最大41%を担い、マッチしたトケナイザーはしごでは、足場のエントロピーシェアが蒸留によって成長し続ける間、足場側は数学のコーパスステップでのみ結合が変化し、一方のチャネル相関によるクローズドフォーム予測は54点から5点までの選択保持をトラックする。 再送された連鎖は、再送された回答から精度の4分の1から半分を獲得し、一度取り除かれると、トークンスコアラーがランダムに連続したブロックを破る。

関連論文リスト

• Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
  複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。 各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。 合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
  論文  参考訳（メタデータ） (2026-09-07T22:10:54Z)
• Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation [9.526730541200038]
  我々は,Block Sparse Flash Attention (BSFA)ルートが4つのアーキテクチャをまたいだリプレイによって16セル中13セルの出力決定が変化することを示す。 次に、マッチングされたプローブカードを用いて、密閉された偽物監査を導入する。 ブロックIDを公開する任意のモデルにデプロイ可能なオープンな測定フレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-03T04:12:02Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Byzantine Accountability Without Consensus: Strong Eventual Consistency for Non-Associative, Stochastic, Robust Aggregation [0.0]
  ACFAは、署名されたコントリビューションのコンテンツ適応OR-Setと、自己認証等式証明の成長のみのセットを複製する。 プロトタイプ(10ノード、3ビザンティン)は16/16のファルシフィケーションチェックをパスします。
  論文  参考訳（メタデータ） (2026-07-11T13:23:06Z)
• Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters [10.230437172157474]
  思考の連鎖はLSM推論を改善するが、ソースは競合する。 それぞれのモデルを同じ質問に繰り返しサンプリングし、同じ推論計画に従って、より長い自然世代とペアリングする。 余分なトークンは、独立に訓練されたすべての理性者に対して、本質的には変化しない。 同じ意味的内容を表す2つのトレースが、より冗長な場合に異なる結果をもたらすかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-29T11:06:46Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning [60.714416943748866]
  シングルストリームの自己回帰インターフェースでは、同じトークンがモデル状態を更新し、不可逆的な公約を構成する。 そこで我々は,Side-by-Side (SxS) Interleaved Reasoningを導入する。
  論文  参考訳（メタデータ） (2026-05-05T02:59:58Z)
• Capture-Quiet Decomposition: A Verification Theorem for Chess Endgame Tablebases [51.56484100374058]
  チェス・エンドゲーム・テーブルベースにおけるWin-Draw-Lossラベルの検証のためのCapture-Quiet Decomposition(CQD)を提案する。 この定理は、すべての法的位置を、終端、捕捉、静かの3つのカテゴリのうちの1つに分解する。 CQDは35の3ピースと4ピースのエンドゲーム(2200万ポジション)、110の5ピースのエンドゲーム、72の6ピースのエンドゲーム(合計517のエンドゲーム)で徹底的に検証します。
  論文  参考訳（メタデータ） (2026-04-09T07:22:24Z)
• CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles [1.3011345529764784]
  そこで本研究では,CIRCUSが閾値ローバストな「コア」回路を生成できることを示す。 Gemma-2-2BとLlama-3.2-1Bでは、厳密なコンセンサス回路はコンストラクタの結合よりも40倍小さい。 我々はさらに,合意を確定したノードが非合意制御と一致しない場合に,アクティベーションパッチの因果関係を検証した。
  論文  参考訳（メタデータ） (2026-02-28T07:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。