論文の概要: Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering

• arxiv url: http://arxiv.org/abs/2602.17691v1
• Date: Fri, 06 Feb 2026 06:24:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 07:21:25.528739
• Title: Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering
• Title（参考訳）: テザード推論:マニフォールドステアリングによる量子化LDMにおける幻覚からのエントロピーの分離
• Authors: Craig Atkinson,
• Abstract要約: 量子化言語モデルは基本的なジレンマに直面し、低いサンプリング温度は繰り返しモード崩壊した出力を発生させ、一方高温(T > 2.0)は軌道分岐と意味的不整合を引き起こす。 隠れ状態軌跡を事前に計算した真性多様体にテザリングすることで、幻覚から出力エントロピーを分離するフレームワークであるHELIXを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantized language models face a fundamental dilemma: low sampling temperatures yield repetitive, mode-collapsed outputs, while high temperatures (T > 2.0) cause trajectory divergence and semantic incoherence. We present HELIX, a geometric framework that decouples output entropy from hallucination by tethering hidden-state trajectories to a pre-computed truthfulness manifold. HELIX computes a Unified Truth Score (UTS) combining token-level semantic entropy with Mahalanobis distance from the manifold. When UTS indicates trajectory divergence, graduated steering vectors redirect activations toward structurally coherent regions while affecting only 0.2-2.5% of tokens. On 4-bit quantized Granite 4.0 H Small (32B/9B active, hybrid Mamba-Transformer): GSM8K maintains 88.84% accuracy at T = 3.0 (2.81pp degradation from T = 0.5); MMLU maintains 72.49% across 14,042 questions (1.24pp degradation). This demonstrates that high-temperature hallucination is primarily trajectory divergence rather than semantic collapse. Notably, steering the sparse Transformer attention layers (~10% of layers) is sufficient to correct drift in the Mamba-2 state-space formulation. Geometric tethering reveals a previously-masked High-Entropy Creative Reservoir. At T > 2.0, steered outputs exhibit 5-20% idea duplication versus 70-80% at conservative settings. Cross-architecture validation (Qwen3-30B-A3B MOE) confirms this phenomenon is architecture-independent, with 46.7% higher unique concept generation. HELIX acts as a syntax tether, enabling exploration of semantic diversity without violating the logical backbone required for valid output. This enables Multi-Temperature Synthesis, generating 200% more unique concepts than single-temperature inference.
• Abstract（参考訳）: 量子化言語モデルは基本的なジレンマに直面しており、低いサンプリング温度は繰り返しモード崩壊した出力をもたらし、一方高温(T > 2.0)は軌道の発散と意味的不整合を引き起こす。 隠れ状態軌跡を事前に計算した真性多様体にテザリングすることで、幻覚から出力エントロピーを分離する幾何学的枠組みであるHELIXを提案する。 HELIXは、トークンレベルの意味エントロピーと多様体からマハラノビス距離を組み合わせた統一真理スコア(UTS)を計算する。 UTSが軌道の分岐を示すとき、累積ステアリングベクターは、トークンの0.2-2.5%にしか影響せず、構造的に整合した領域への活性化をリダイレクトする。 4ビットの量子化グラナイト4.0 H小ささ (32B/9B、ハイブリッドマンバ変換器): GSM8KはT = 3.0で88.84%の精度(T = 0.5で2.81ppの劣化)を維持し、MMLUは14,042の質問で72.49%の精度を維持している(1.24ppの劣化)。 このことは、高温幻覚は主に意味的崩壊よりも軌跡分岐であることを示している。 特に、スパーストランスフォーマーのアテンション層(約10%の層)をステアリングすることは、Mamba-2状態空間の定式化においてドリフトを補正するのに十分である。 幾何学的テザリングにより、以前に作られたハイエントロピー・クリエイティヴ貯水池が明らかになる。 T>2.0では、ステアリングアウトプットは5-20%のアイデア重複を示すが、保守的な設定では70-80%である。 クロスアーキテクチャ検証(Qwen3-30B-A3B MOE)は、この現象がアーキテクチャ非依存であり、46.7%のユニークな概念生成であることを確認した。 HELIXは構文テザとして機能し、有効な出力に必要な論理的バックボーンに違反することなく、意味的多様性の探索を可能にする。 これにより、マルチ温度合成が可能となり、単温度推論よりも200%多くのユニークな概念が生成される。

関連論文リスト

• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)
• Asymptotic Semantic Collapse in Hierarchical Optimization [0.5729426778193398]
  マルチエージェント言語システムは、共有された支配的コンテキストが個々の意味論を徐々に吸収する障害モードを示すことができる。 階層最適化における漸近的セマンティック崩壊(Asymptotic Semantic Collapse in Hierarchical Optimization)という名でこの効果を研究する。 我々は、周辺エージェントノードとの繰り返しの相互作用が、グローバルな損失を最小限に抑えるアライメントを駆動していることを示す。
  論文  参考訳（メタデータ） (2026-02-01T00:02:01Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
  大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。 我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
  論文  参考訳（メタデータ） (2025-12-31T04:19:33Z)
• Attention Is Not What You Need [0.0]
  標準的なマルチヘッドアテンションはテンソルリフトの一形態と見なされる。 本稿では,グラスマンフローに基づく無注意アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-12-22T14:29:18Z)
• Pay Attention Later: From Vector Space Diffusion to Linearithmic Spectral Phase-Locking [0.0]
  スタンダードトランスフォーマーは「セマンティックアライメント税」に苦しむ 位相共鳴インテリジェントスペクトルモデル(PRISM)を導入する。 PRISMは複素領域(Cd)における共振周波数としてのセマンティックアイデンティティを符号化し、二次自己アテンションをリニアリトミック O(N log N) Gated Harmonic Convolutions に置き換える。
  論文  参考訳（メタデータ） (2025-12-01T02:46:15Z)
• Automated Circuit Interpretation via Probe Prompting [0.0]
  本稿では、帰属グラフをコンパクトで解釈可能な部分グラフに変換する自動パイプラインであるプローブプロンプトを提案する。 5つのプロンプトにまたがって、プローブプロンプトされたサブグラフは、複雑さを圧縮しながら高い説明的カバレッジを保っている。 幾何学的クラスタリングベースラインと比較すると、概念整列群はより高い行動コヒーレンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T11:53:36Z)
• Comprehensive Validation of Replica Symmetry Breaking via Quantum Annealing: From Ground States to Topological Collapse [0.0]
  我々はジョルジョ・パリシのシェリントン・カークパトリックスピンガラスの正確な解を4000スピンに拡張する。 レプリカ対称性の破れの出現と崩壊を調査する。 この包括的検証は、複素系における基本的な統計力学を探索するための量子的優位性を確立する。
  論文  参考訳（メタデータ） (2025-11-09T14:33:22Z)
• Towards Unified and Lossless Latent Space for 3D Molecular Latent Diffusion Modeling [90.23688195918432]
  3次元分子生成は、薬物発見と物質科学に不可欠である。 既存のアプローチは、典型的には不変かつ同変なモジュラリティに対して別々のラテント空間を保持する。 我々は,3次元分子を潜在空間から潜在配列に圧縮するマルチモーダルVAEである textbfUAE-3D を提案する。
  論文  参考訳（メタデータ） (2025-03-19T08:56:13Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains at Finite Temperature: Exact Results [68.8204255655161]
  奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。 正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
  論文  参考訳（メタデータ） (2021-05-11T14:08:02Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。