論文の概要: The Geometry of Thought: How Scale Restructures Reasoning In Large Language Models

• arxiv url: http://arxiv.org/abs/2601.13358v1
• Date: Mon, 19 Jan 2026 19:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.04135
• Title: The Geometry of Thought: How Scale Restructures Reasoning In Large Language Models
• Title（参考訳）: 思考の幾何学:大規模言語モデルにおけるスケール再構成の推論方法
• Authors: Samuel Cyrenius Anderson,
• Abstract要約: 我々は4つの領域(法、理、法、法、数学)にまたがる25,000以上の思考の連鎖を解析する ニューラルスケーリング法則が一様能力よりもドメイン固有の相転移を引き起こすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scale does not uniformly improve reasoning - it restructures it. Analyzing 25,000+ chain-of-thought trajectories across four domains (Law, Science, Code, Math) and two scales (8B, 70B parameters), we discover that neural scaling laws trigger domain-specific phase transitions rather than uniform capability gains. Legal reasoning undergoes Crystallization: 45% collapse in representational dimensionality (d95: 501 -> 274), 31% increase in trajectory alignment, and 10x manifold untangling. Scientific and mathematical reasoning remain Liquid - geometrically invariant despite 9x parameter increase. Code reasoning forms a discrete Lattice of strategic modes (silhouette: 0.13 -> 0.42). This geometry predicts learnability. We introduce Neural Reasoning Operators - learned mappings from initial to terminal hidden states. In crystalline legal reasoning, our operator achieves 63.6% accuracy on held-out tasks via probe decoding, predicting reasoning endpoints without traversing intermediate states. We further identify a universal oscillatory signature (coherence ~ -0.4) invariant across domains and scales, suggesting attention and feedforward layers drive reasoning through opposing dynamics. These findings establish that the cost of thought is determined not by task difficulty but by manifold geometry - offering a blueprint for inference acceleration where topology permits.
• Abstract（参考訳）: スケールは推論を均一に改善しません。 4つの領域(Law, Science, Code, Math)と2つのスケール(8B, 70Bパラメータ)にまたがる25,000以上のチェーン・オブ・シークレット・トラジェクトリを分析し、ニューラルネットワークのスケーリング法則が、一様能力よりもむしろドメイン固有の位相遷移を引き起こすことを発見した。 45%の結晶化: 表現次元の崩壊(d95: 501 -> 274)、軌道のアライメントの31%の増加、および10x多様体のアンハングリング。 科学的および数学的推論は液体のままであり、9倍のパラメータの増加にもかかわらず幾何学的に不変である。 符号推論は戦略モードの離散格子を形成する(シルエット: 0.13 -> 0.42)。 この幾何学は学習可能性を予測する。 ニューラル推論演算子(Neural Reasoning Operators)を導入し,初期状態から終端状態へのマッピングを学習する。 結晶的法則推論では,中間状態のトラバースを伴わずに終端を予測し,プローブ復号によりホールドアウトタスクの63.6%の精度を達成している。 さらに、領域とスケールにまたがる普遍的な振動シグネチャ(コヒーレンス~-0.4)を同定し、注意とフィードフォワード層が反対のダイナミクスを通して推論を促進することを示唆する。 これらの結果は、思考のコストはタスクの難易度ではなく、多様体の幾何によって決定され、トポロジーが許す推論加速度のブループリントを提供することを証明している。

関連論文リスト

• Milestones over Outcome: Unlocking Geometric Reasoning with Sub-Goal Verifiable Reward [67.00373428443879]
  サブゴールレベルの評価と学習へのパラダイムシフトを導入する。 まず,厳密な形式検証データエンジンを用いたベンチマークであるGeoGoalを構築した。 本研究では,スケルトンレートに基づいて,スパース信号を高密度な報酬に置き換えるサブゴール検証リワード(SGVR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T16:17:56Z)
• Beyond Accuracy: A Geometric Stability Analysis of Large Language Models in Chess Evaluation [8.694064926527902]
  本稿では,標準精度測定値が真の幾何学的推論と標準基板状態の表層記憶とを区別できないことを論じる。 我々は、不変変換の下でモデルの一貫性を厳格にテストする新しい評価手法を適用した。 我々は、幾何安定性がAI評価に不可欠な指標であり、データ汚染から推論能力を引き離すために必要なプロキシを提供すると結論付けている。
  論文  参考訳（メタデータ） (2025-12-17T02:49:10Z)
• Pay Attention Later: From Vector Space Diffusion to Linearithmic Spectral Phase-Locking [0.0]
  スタンダードトランスフォーマーは「セマンティックアライメント税」に苦しむ 位相共鳴インテリジェントスペクトルモデル(PRISM)を導入する。 PRISMは複素領域(Cd)における共振周波数としてのセマンティックアイデンティティを符号化し、二次自己アテンションをリニアリトミック O(N log N) Gated Harmonic Convolutions に置き換える。
  論文  参考訳（メタデータ） (2025-12-01T02:46:15Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates [51.633266497799745]
  思考テンプレートのスケーリングによる階層的LLM推論は、推論検索空間を効果的に最適化することができる。 i)類似または関連する推論問題に一般化可能な500ほどの高レベルな思考テンプレートを含む構造化・汎用的な思考テンプレートライブラリ,(ii)長いCoTではなく一連の思考テンプレート上で階層的な強化学習を行う,(iii)全く新しい推論スケーリングシステム,の3つの革新を紹介した。
  論文  参考訳（メタデータ） (2025-02-10T18:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。