論文の概要: A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

• arxiv url: http://arxiv.org/abs/2605.09011v1
• Date: Sat, 09 May 2026 15:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.01812
• Title: A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases
• Title（参考訳）: 大規模言語モデルにおける次点予測の幾何学的視点:3つの新しい位相
• Abstract要約: 大規模言語モデル(LLM)の層間における予測情報の幾何について検討する。 モデルが各層で何を予測しているかを問うのではなく、予測情報がどこにあり、どのように深みを越えて進化するかを問う。
• 参考スコア（独自算出の注目度）: 1.157930969832493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the geometry of predictive information across the layers of large language models (LLMs). We repurpose representation lenses-learned affine maps trained to predict the next token from intermediate residual streams-as geometric diagnostic tools. Rather than asking what the model predicts at each layer, we ask where predictive information resides and how it evolves across depth. We define at each layer a predictive readout subspace as the dominant k-dimensional singular subspace of such a map on the d-dimensional residual stream (where k is a resolution parameter), and track its trajectory on the Grassmann manifold as a similarity profile across layers. The profile is well described by unimodal distributions exhibiting a rise, near-plateau, and descent; varying k from 1% to 50% of d traces a Pareto frontier between visibility and energy retention, yet the same structure emerges at all scales. Across eight models from two families (Qwen2.5 and OLMo2, 1B-32B), we identify three geometric phases. Updates are approximately orthogonal to the residual stream throughout; what distinguishes the phases is their effect on the effective rank, which expands, stabilizes, and concentrates. In the first, Seeding Multiplexing, feed-forward memories and attention layers seed a candidate set in superposition in family-specific proportions, with the final token rising as leading candidate from 20% to 35% of positions across this phase. In the second, Hoisting Overriding, updates override existing subspaces to concentrate the candidate distribution without expanding the rank. In the third, Focal Convergence, high-energy low-rank updates write the winner into a form aligned with the unembedding direction. Phases 1 and 3 grow slowly with model depth, while Phase 2 expands linearly. The additional capacity of deeper LLMs is largely absorbed by candidate disambiguation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の層間における予測情報の幾何について検討する。 我々は、中間残差ストリームから次のトークンを予測するために訓練された表現レンズ付きアフィンマップを幾何学的診断ツールとして再利用する。 モデルが各層で何を予測しているかを問うのではなく、予測情報がどこにあり、どのように深みを越えて進化するかを問う。 各層において、予測的読み出し部分空間を、d-次元残留ストリーム上のそのような写像の支配的な k-次元特異部分空間として定義し(k は分解パラメータである)、グラスマン多様体上のその軌道を層間の類似性プロファイルとして追跡する。 このプロファイルは、上昇、ほぼプレート、降下を示す一様分布によってよく説明されており、dの1%から50%まで異なるkは、視界とエネルギー保持の間のパレートフロンティアを辿るが、同じ構造があらゆるスケールで現れる。 2つの家系(Qwen2.5とOLMo2、1B-32B)の8つのモデルで、3つの幾何学的位相を同定した。 更新は残留流とほぼ直交しており、位相を区別するものは有効ランクに対する影響であり、拡大し、安定し、集中する。 第一に、Seeding Multiplexing、フィードフォワードメモリ、アテンションレイヤは、家族固有の比率で重ねられた候補をシードし、最終トークンは、このフェーズの20%から35%のポジションの候補として上昇する。 2つ目のHoisting Overridingでは、既存のサブスペースをオーバーライドして、ランクを拡大することなく、候補ディストリビューションに集中する。 第3部では、高エネルギーの低ランク更新であるFocal Convergenceが、勝者を非埋め込み方向に沿った形式に書き込む。 第1相と第3相はモデル深度とともにゆっくりと成長し、第2相は直線的に膨張する。 より深いLDMの付加能力は、候補の曖昧さによって大きく吸収される。

関連論文リスト

• A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
  CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。 A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
  論文  参考訳（メタデータ） (2026-09-07T17:56:20Z)
• Hyper-Fold: Exploring the Expressive Limit of Sequence-Geometry Learning for Proteins via Hypergraph Modeling [55.36837305276515]
  コンテント幾何学的外積に対する完全双線型作用素、すなわち2階の相互作用の十分統計は、表現的天井であることを示す。 次に、メッセージパッシングコストで天井に近づく、ランク-K分離可能な畳み込みバックボーンであるHyper-Foldを紹介します。
  論文  参考訳（メタデータ） (2026-08-29T11:43:25Z)
• From Extrinsic to Intrinsic: Geodesic-Guided Representation Learning for 3D Geometric Data [56.41479248637621]
  我々は,textbfPreトレーニングのための新しい3D表現学習パラダイムであるtextbfPRISMを紹介した。 PRISMは textbfIntrinsic textbfSurface geodesic textbfMetric を検索して埋め込みを学習する。 提案手法は測地線距離予測において, 良好な精度, 堅牢性, 高効率性を示す。
  論文  参考訳（メタデータ） (2026-06-01T13:54:26Z)
• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws [13.054357482525505]
  Gemma 2 2B および 9B の68 層に収着・退避する第1 層間SAEスケーリング研究を行った。 多様体幾何は、両方のモデルにおいて、層ごとの幅指数を予測する。
  論文  参考訳（メタデータ） (2026-05-11T02:24:46Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
  HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。 Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-04-30T17:59:58Z)
• The Junction Law for Multipartite Entanglement in Confining Holographic Backgrounds [2.477977081568645]
  まず,AdS$_3$ハードウォールトイモデルを解析的ベンチマークとして検討し,マルチウェイカットとジャンクションジオメトリーを明示的に分析する。 次に、D4-ソリトンとD3-ソリトン背景に焦点をあてて、ハードウォールのベンチマークを超えてスムーズな精細なジオメトリへと移行する。 スムーズな例では、接合図は持続するが、詳細な位相構造はハードウォールの場合と異なる。
  論文  参考訳（メタデータ） (2026-04-12T11:02:36Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model [32.831576387973875]
  安定, 高精度, 微粒な幾何的密度予測のための2段階決定的フレームワークを提案する。 特に、第1段階では、コア予測器は、クリーンデータ目的の単一ステップ決定論的定式化を採用する。 第2段階では、ディテールシャープナーは、コア予測器によって定義される多様体内で制約付き多段階整流補正を行う。
  論文  参考訳（メタデータ） (2025-11-30T18:57:25Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• One at a Time: Progressive Multi-step Volumetric Probability Learning for Reliable 3D Scene Perception [59.37727312705997]
  本稿では,複雑な3次元ボリューム表現学習を生成段階の列に分解することを提案する。 強力な生成拡散モデルにより達成された最近の進歩を考えると、我々はVPDと呼ばれる多段階学習フレームワークを導入する。 SSCタスクでは、Semantic KITTIデータセット上でLiDARベースのメソッドを初めて越える作業として際立っている。
  論文  参考訳（メタデータ） (2023-06-22T05:55:53Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• You say Normalizing Flows I see Bayesian Networks [11.23030807455021]
  正規化フローは、予め定義された位相と各ノードでの学習可能な密度を持つベイズネットワークに還元されることを示す。 正規化フローにおける多重変換の積み重ねは独立性の仮定を緩和し、モデル分布を絡ませることを示す。 我々は,その深さに関わらず,アフィン正規化流れの不均一性を証明した。
  論文  参考訳（メタデータ） (2020-06-01T11:54:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。