論文の概要: Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
- arxiv url: http://arxiv.org/abs/2607.01571v1
- Date: Thu, 02 Jul 2026 01:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.625642
- Title: Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
- Title（参考訳）: 推論の幾何学的シグナチャ:タスクの硬さのスペクトル的視点
- Abstract要約: CoT推論(Chain-of-Thought reasoning)は、中間的推論ステップを生成することで、大規模な言語モデルで複雑な問題を解くことを可能にする。
変圧器モデルの隠れ状態空間におけるCoT軌道のエンフェジェメトリについて検討する。
理論的には、より平坦な固有値スペクトルを持つ軌跡は、より隠れた次元を探索するため、より難しいタスクに対応する。
最後に, 軌跡, 平均位置, 位置分散, 初期および電流隠蔽状態, 平均速度, 平均速度, 速度分散の運動学的特徴を用いて, 生成が完了する前に解の正確性を予測する方法について検討する。
- 参考スコア（独自算出の注目度）: 32.929617755703696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) reasoning enables large language models (LLMs) to solve complex problems by generating intermediate reasoning steps. While much attention has been paid to the length and content of these reasoning chains, far less is known about their internal geometry. We study the \emph{geometry} of CoT trajectories in the hidden state space of transformer models, formalizing each reasoning chain as a discrete curve in $\mathbb{R}^d$ and characterizing it through spectral, positional, and kinematic geometric functionals. We introduce the effective dimension $d_ρ$ as a measure of trajectory complexity and show theoretically that trajectories with flatter eigenvalue spectra correspond to harder tasks, as they explore more of the hidden dimensions. Lastly, we explore how kinematic features of the trajectory, mean position, positional dispersion, initial and current hidden states, mean velocity, mean speed, and speed dispersion, can be used to predict solution correctness before generation is complete, and may inform future early-stopping strategies. Experimentally, on mathematical reasoning problems from the MATH500 dataset, $d_ρ$ achieves $0.93$ AUC in distinguishing easy from hard problems, while kinematic features potentially can predict correctness from only the first $20\%$ of generated tokens. These correctness signatures transfer across questions of varying difficulty, establishing that the shape of a model's internal reasoning trajectory is a principled window into both task hardness and solution quality.
- Abstract（参考訳）: CoT推論(Chain-of-Thought reasoning)により、中間的推論ステップを生成することで、大きな言語モデル(LLM)が複雑な問題を解決することができる。
これらの推論鎖の長さと内容に多くの注意が払われているが、それらの内部幾何学についてはあまり知られていない。
変換器モデルの隠れ状態空間におけるCoT軌道のemph{geometry} について検討し、各推論鎖を $\mathbb{R}^d$ の離散曲線として定式化し、スペクトル、位置、運動学的幾何学的汎関数を通して特徴付ける。
実効次元 $d_ρ$ を軌跡複雑性の尺度として導入し、より平坦な固有値スペクトルを持つ軌跡がより難しいタスクに対応することを理論的に示す。
最後に, 軌跡, 平均位置, 位置分散, 初期および現在隠れた状態, 平均速度, 平均速度, 速度分散の運動学的特徴を, 生成が完了する前に解の正しさを予測するために利用し, 今後の早期停止戦略を示唆する。
実験的に、MATH500データセットの数学的推論問題において、$d_ρ$は難しい問題と容易に区別できる$0.93$AUCを達成し、キネマティック機能は生成したトークンの最初の20セントからのみ正確性を予測できる可能性がある。
これらの正しさのシグネチャは、様々な困難さの質問にまたがって伝達され、モデルの内部推論軌跡の形状がタスクの硬さとソリューションの品質の両方に原則化された窓であることが確認される。
関連論文リスト
- Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - PIEFS: Physics-Informed Eigenfunction Features with Learnable Scaling [42.058442499492536]
我々は、学習可能なスケーリング(PIEFS)を用いた物理インフォームド固有関数の特徴を提案する。
PIEFSは、ディリクレエネルギーを改良したスペクトル誘導バイアスを持つ教師付きニューラルネットワーク表現学習フレームワークである。
論文 参考訳（メタデータ） (2026-07-04T03:55:40Z) - Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。
既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
論文 参考訳（メタデータ） (2026-05-27T14:02:20Z) - Reasoning Models Don't Just Think Longer, They Move Differently [25.136448013973904]
競合プログラミング,数学,ブール適合性におけるチェーン・オブ・ソート生成における隠れ状態軌道による区別について検討する。
最も明確な推論固有の分離は、より難しい問題によってより直接修正された軌道を示すコードドメインに現れます。
これらの結果から, 時間的軌道解析の前提条件として長さ補正が確立され, 推理訓練が精度の高い軌道形状に関連付けられることが示唆された。
論文 参考訳（メタデータ） (2026-05-14T22:37:33Z) - Random Dot Product Graphs as Dynamical Systems: Limitations and Opportunities [0.0]
ランダムドット製品グラフ内の時間ネットワークの進化を規定する微分方程式について検討する。
遅延位置における回転あいまいさからのゲージ自由度、確率行列の多様体構造からの実現可能性制約、スペクトル埋め込みによる軌道回復アーティファクトの3つの基本的な障害を同定する。
対称力学はスキュー対称ゲージ汚染を吸収できないので、力学構造は障害物を解消できる。
論文 参考訳（メタデータ） (2026-03-05T21:56:07Z) - The Spacetime of Diffusion Models: An Information Geometry Perspective [40.23096112113255]
決定論的確率フローを用いた標準的なプルバック手法であるComplementODEデコーダが根本的に欠陥があることが示される。
遅延時空$z=(x_t,t)$を導入し、すべてのノイズスケールにわたる分布の族を指数化する。
結果として得られた構造は、ジオデシックが最小限のノイズ列を追跡し、データ間の編集を飾る、原則付き拡散距離編集(Diffusion Distance Edit)を誘導する。
論文 参考訳（メタデータ） (2025-05-23T06:16:58Z) - Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought [64.43689151961054]
連続CoTのD$ステップを持つ2層トランスが有向グラフ到達可能性問題を解くことができることを証明した。
我々の構成では、各連続思考ベクトルは複数の探索フロンティアを同時に符号化する重ね合わせ状態である。
論文 参考訳（メタデータ） (2025-05-18T18:36:53Z) - Learning the Universe: Learning to Optimize Cosmic Initial Conditions with Non-Differentiable Structure Formation Models [0.22940141855172033]
本稿では,3次元宇宙初期条件を再構築するためのLearning the Universe by Learning to Optimize (LULO)を紹介する。
LULOは、3次元宇宙の初期条件を再構築するための勾配のないフレームワークである。
ダークマターのみの$N$ボディシミュレーションで同定した$M_200mathrmc$halosから初期条件を正確に再構成することで,本手法を実証する。
論文 参考訳（メタデータ） (2025-02-18T19:17:01Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - CWF: Consolidating Weak Features in High-quality Mesh Simplification [50.634070540791555]
これらの要件をすべて同時に検討するスムーズな機能を提案する。
この官能基は、通常の異方性項と、セトロイド型ボロノイテッセルレーション(CVT)エネルギー項を含む。
論文 参考訳（メタデータ） (2024-04-24T05:37:17Z) - On interpretability and proper latent decomposition of autoencoders [6.85316573653194]
本稿では,オートエンコーダの変換を理論的に解釈する。
我々は、多様体の数学的記述を提供する計量テンソルを数学的に導出する。
本稿では, 自己エンコーダ潜時空間上の乱流の適切な分解を一般化する手法として, 適切な潜時分解法(PLD)を提案する。
論文 参考訳（メタデータ） (2022-11-15T17:55:35Z) - Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。
ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。
我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
論文 参考訳（メタデータ） (2022-10-15T08:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。