論文の概要: Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

• arxiv url: http://arxiv.org/abs/2610.02391v1
• Date: Thu, 01 Oct 2026 19:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.055698
• Title: Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
• Title（参考訳）: Hesitation have a Geometry: An Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
• Abstract要約: 本稿では,ポアンカレ球に隠れた状態を軽量プローブで埋め込むハイパーボリックエントロピーステアリング(HEST)を提案する。 HESTは、プローブの読み出しの最も急勾配の測地線に沿って埋め込み状態を動かし、その変化を隠された状態にマッピングする。 Qwen2.5-Math と Llama-3.1 の3つの命令調整モデルにおいて、Busemann のリードアウトを持つ HEST は MATH-500 と GSM8K を6つの設定のうち5つの設定で最大1.8ポイント改善した。
• 参考スコア（独自算出の注目度）: 6.720012088509191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a large language model solves a mathematical problem, its reasoning is largely hierarchical, and the solution often branches at a few tokens where the next-token entropy is high. Such tree-like structure embeds in hyperbolic space with far lower distortion than in Euclidean space. Activation steering, however, usually edits the hidden states of a pretrained model by adding one fixed Euclidean vector at every token, even though most tokens of a solution are already determined by the context. We propose Hyperbolic Entropy Steering (HEST), which embeds the hidden states in the Poincaré ball with a lightweight probe whose only label is the model's own next-token entropy. Where this entropy exceeds a threshold, HEST moves the embedded state along the geodesic of steepest descent of a readout of the probe and maps the change back to the hidden state. For the Busemann readout of a learned ideal point, we prove that a step of fixed length lowers it by the same amount at every state. On three instruction-tuned models from the Qwen2.5-Math and Llama-3.1 families, HEST with the Busemann readout improves greedy accuracy on MATH-500 and GSM8K in five of six settings, by up to 1.8 points, whereas a contrastive steering vector added at every token lowers accuracy. With a Euclidean probe trained in the same way, this gain disappears on Qwen2.5-Math-1.5B-Instruct. The gains are largest on problems where the model hesitates often, and accuracy on the remaining problems is almost unchanged.
• Abstract（参考訳）: 大きな言語モデルが数学的問題を解くとき、その推論は概ね階層的であり、その解はしばしば次のトーケンエントロピーが高いいくつかのトークンに分岐する。 このような木のような構造はユークリッド空間よりもはるかに低い歪みを持つ双曲空間に埋め込まれる。 しかしながら、アクティベーションステアリングは、通常、すべてのトークンに1つの固定ユークリッドベクトルを追加することで、事前訓練されたモデルの隠れた状態を編集する。 本稿では,ポアンカレ球に隠された状態と,モデル自身の次のトーケンエントロピーをラベル付けした軽量プローブを埋め込むハイパーボリックエントロピーステアリング(HEST)を提案する。 このエントロピーがしきい値を超えると、HESTはプローブの読み出しの最も急勾配の測地線に沿って埋め込み状態を動かし、その変化を隠された状態にマッピングする。 学習した理想点のブシェマン可読化について、固定長のステップが全ての状態において同じ量で減少することを証明する。 Qwen2.5-Math と Llama-3.1 ファミリーの3つの命令調整モデルにおいて、Busemann の読み出し付き HEST は MATH-500 と GSM8K の6つの設定のうち5つの設定において、最大 1.8 の精度を向上する一方、トークン毎に追加される対照的なステアリングベクトルは精度を低下させる。 同じ方法で訓練されたユークリッド探査機により、このゲインはQwen2.5-Math-1.5B-Instructで消失する。 モデルが頻繁にためらう問題ではゲインが最も多く、残りの問題では精度がほとんど変わらない。

関連論文リスト

• A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
  CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。 A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
  論文  参考訳（メタデータ） (2026-09-07T17:56:20Z)
• The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models [0.0]
  シーケンスモデルは、位置をまたいで情報をルーティングするメカニズムであるバックボーンによって区別される。 本論文は、バックボーンに先立って、ほぼ全ての現行モデルで共有される選択を異にする。 量子論の数学から引き出された複素値の代替法について検討し、そこでは状態の位相によって情報を伝達する。
  論文  参考訳（メタデータ） (2026-08-07T15:12:36Z)
• When and How Long? The Readout-Mediator Angle in Temporal Reasoning [1.0195618602298682]
  線形プローブは表現をほぼ完全にデコードできるが、モデルがどのように使用するかは全く関係がない。 分散アライメントサーチ(DAS)によって発見された4次元のサブスペースを同じ層に配置すると、パフォーマンスは完全に崩壊する。 学習したQKオフセットをpm30$とpm61$dayで読み取る。
  論文  参考訳（メタデータ） (2026-05-27T21:38:17Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• Learning Pure Quantum States in Any Dimension (Almost) Without Regret [12.103414068933555]
  我々は、[arXiv:2406.18370]で最初に研究された最小累積障害を伴う量子状態トモグラフィーを、任意の有限次元純状態に拡張する。 累積乱れのない純状態トモグラフィーは、キュービットの特異性ではなく、キューディットに持続する幾何学的現象であることを示す。
  論文  参考訳（メタデータ） (2026-05-09T15:56:17Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• Adiabatic ground state preparation in an expanding lattice [0.0]
  我々は,2L$の格子上に量子多体基底状態波動関数を構築するために,$s$-sourceフレームワーク [Phys. Rev.B 93, 045127] にインスパイアされた数値アルゴリズムを実装し,特徴付ける。 ギャップが大きくて、興味深いことに、臨界点において大規模に建設がうまく行っていることが分かりました。
  論文  参考訳（メタデータ） (2020-02-22T01:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。