論文の概要: The Density of Thought: Predicting and Steering Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.21286v1
- Date: Thu, 15 Oct 2026 05:31:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.201978
- Title: The Density of Thought: Predicting and Steering Reasoning in Large Language Models
- Title（参考訳）: 思考の密度:大言語モデルにおける予測とステアリング推論
- Abstract要約: 凍結した事前学習モデルに、チェーン・オブ・ソート(英語版)を用いて問題を解くよう促す。
それぞれの推論ステップの密度を2つの独立したメトリクスで測定する。
次に、密度が相関するかどうかを検証し、改善し、正解できるかどうかを判断する。
- 参考スコア（独自算出の注目度）: 3.0577201004049352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate whether variation in information density across chain-of-thought (CoT) reasoning steps predicts answer correctness and can serve as a controllable inference-time target. We prompt frozen pretrained models to solve problems via CoT and measure the density of each reasoning step with two independent metrics: LP variance (how unevenly information is distributed across steps, computed as the variance in mean per-token negative log-likelihood) and the Caveman compression ratio. We then test whether density correlates with, and can be steered to improve, answer correctness. Experiments across six model scales, two training paradigms, and 60 GSM8K problems yield four main findings. First, lower LP variance predicts correctness in supervised fine-tuned (SFT) models, but this relationship weakens with scale and reverses in reinforcement-learning (RL) distilled models. Training paradigm therefore appears more influential than model size in determining density behaviour. Second, synthetic experiments reveal an intrinsic complexity preference: models trained on uniformly distributed data learn complexity-favouring distributions 2.0 to 2.6 times more accurately than simplicity-favouring ones. Third, direct inference-time density steering reduces accuracy from 60.0% to 8.3%, indicating that natural density patterns are functionally important to reasoning. Fourth, pre-generation nudging combining hint injection with contrastive KV-cache steering improves accuracy by 13.3 percentage points, consistent across both metrics. Finally, we introduce Entropy-Gated Density Routing (EGDR), a self-supervised method using token-level Shannon entropy to gate proportional KVcache adjustments during generation, improving accuracy by 10.0 percentage points without any external guidance.
- Abstract（参考訳）: チェーン・オブ・ソート(CoT)推論ステップにおける情報密度の変動が解答の正しさを予測し、制御可能な推論時間目標として機能するかを検討する。
凍結した事前学習モデルにCoTを用いて問題を解き、各推論ステップの密度を2つの独立したメトリクスで測定するように促す: LP分散(どのように不均一な情報がステップ間で分散され、平均的な負の対数分布の分散として計算されるか)とケーブマン圧縮比。
次に、密度が相関するかどうかを検証し、改善し、正解できるかどうかを判断する。
6つのモデルスケール、2つのトレーニングパラダイム、60のGSM8K問題にわたる実験で4つの主要な結果が得られた。
第一に、低LP分散は教師付き微調整(SFT)モデルにおいて正当性を予測するが、この関係は強化学習(RL)蒸留モデルではスケールと逆で弱まる。
したがって、トレーニングパラダイムは密度の振る舞いを決定する際に、モデルサイズよりも影響が大きいように見える。
第2に、合成実験は本質的な複雑性の嗜好を明らかにしている: 一様分散データで訓練されたモデルは、複雑性に富む分布を2.0から2.6倍正確に学習する。
第3に、直接推論時密度ステアリングは精度を60.0%から8.3%に下げ、自然密度パターンが推論において機能的に重要であることを示す。
第4に、ヒントインジェクションとコントラッシブなKVキャッシュステアリングを組み合わせた前世代のヌーディングは、両方のメトリクスで一致した13.3ポイントの精度を向上させる。
最後に,トークンレベルのシャノンエントロピーを用いた自己監督手法であるEntropy-Gated Density Routing (EGDR)を導入する。
関連論文リスト
- Conformalized Physics-Informed Weak Regression for Parameter Estimation in Epidemic Models [0.0]
感染症の比較モデルは、しばしば物理的パラメータ、製品またはそれらの比率である係数において線形である。
これを閉形式最小二乗で利用し、分布のない不確実性を推定する。
物理インフォームド・リグレッション(PIWR)を導入し,その代わりにモデルを統合する。
論文 参考訳（メタデータ） (2026-10-13T18:55:22Z) - Equivariant Flow Matching for Electron Density Prediction [41.15331860596543]
OrbFlowはガウス型軌道(GTO)係数をフローマッチングによって予測する生成モデルである。
これはQM9における最先端の精度を実現し、以前の最良のモデルと比較して密度誤差を13.6%削減する。
論文 参考訳（メタデータ） (2026-10-02T01:18:18Z) - Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。
我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。
結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
論文 参考訳（メタデータ） (2026-07-08T15:51:05Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。
10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。
LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
論文 参考訳（メタデータ） (2026-05-23T16:57:25Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - Diffusion Models are Molecular Dynamics Simulators [0.0]
バッチ次元に逐次バイアスを付与したデノナイズ拡散サンプリング器が,ランゲヴィン力学を過度に破壊するオイラー・丸山積分器であることを証明した。
各逆消音ステップは、その関連するばね剛性を伴って、ノイズスケジュールとその剛性とで協調して設定された有効時間ステップを有する微分方程式の一段階と解釈することができる。
学習したスコアは、学習したエネルギーの勾配の役割を担い、拡散サンプリングとランゲヴィン時間進化の正確な対応を与える。
論文 参考訳（メタデータ） (2025-11-21T19:48:32Z) - Anomaly Detection with Variance Stabilized Density Estimation [49.46356430493534]
本稿では, 観測試料の確率を最大化するための分散安定化密度推定問題を提案する。
信頼性の高い異常検知器を得るために,分散安定化分布を学習するための自己回帰モデルのスペクトルアンサンブルを導入する。
我々は52のデータセットで広範なベンチマークを行い、我々の手法が最先端の結果につながることを示した。
論文 参考訳（メタデータ） (2023-06-01T11:52:58Z) - $CrowdDiff$: Multi-hypothesis Crowd Density Estimation using Diffusion Models [26.55769846846542]
群集カウントは群集分析の基本的な問題であり、群集密度マップを推定し、群集密度値の和を和らげることが典型的である。
逆拡散過程として群衆密度マップを生成するCrowdDiff$を提示する。
また,拡散モデルの性質から,数量化性能を向上させるため,複数の密度マップを作成することを提案する。
論文 参考訳（メタデータ） (2023-03-22T17:58:01Z) - Robust fine-tuning of zero-shot models [79.38373024475646]
既存の微調整アプローチは、分布の精度を大幅に向上するが、分布外ロバスト性は低下する。
我々は、ゼロショットモデルと微調整モデルの重みをアンサンブルする、ロバスト性を改善するための単純で効果的な方法を提案する。
通常の微調整と比較して、結果として生じる重量空間のアンサンブルは、分配精度と一致または分配精度を大きく改善する。
論文 参考訳（メタデータ） (2021-09-04T17:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。