論文の概要: Depth-Wise Emergence of Prediction-Centric Geometry in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.04931v1
• Date: Wed, 04 Feb 2026 11:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.555257
• Title: Depth-Wise Emergence of Prediction-Centric Geometry in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける予測中心幾何の深さ-幅
• Authors: Shahar Haim, Daniel C McNamee,
• Abstract要約: 本稿では,デコーダのみの大規模言語モデルが,文脈処理から予測生成段階への遷移を示すことを示す。 幾何学的解析と機械的介入を組み合わせた統一的な枠組みを用いて,遅延層表現がトークン予測を選択的に因果制御できる構造的幾何符号を実装していることを示す。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that decoder-only large language models exhibit a depth-wise transition from context-processing to prediction-forming phases of computation accompanied by a reorganization of representational geometry. Using a unified framework combining geometric analysis with mechanistic intervention, we demonstrate that late-layer representations implement a structured geometric code that enables selective causal control over token prediction. Specifically, angular organization of the representation geometry parametrizes prediction distributional similarity, while representation norms encode context-specific information that does not determine prediction. Together, these results provide a mechanistic-geometric account of the dynamics of transforming context into predictions in LLMs.
• Abstract（参考訳）: 我々は,デコーダのみの大規模言語モデルにおいて,表現幾何学の再編成に伴う文脈処理から予測生成フェーズへの深い遷移を示すことを示す。 幾何学的解析と機械的介入を組み合わせた統一的な枠組みを用いて,遅延層表現がトークン予測を選択的に因果制御できる構造的幾何符号を実装していることを示す。 具体的には、表現幾何学の角的構造は、予測分布の類似性をパラメータ化し、表現ノルムは予測を決定しない文脈固有情報をエンコードする。 これらの結果とともに、LLMの予測への変換コンテキストのダイナミクスの力学的幾何学的説明を提供する。

関連論文リスト

• TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning [104.66714520975837]
  古典的タングラムゲームのレンズを通して構成空間推論を評価するために,幾何グラウンドのベンチマークを導入する。 本稿では,タングラム集合を正確に機械で検証可能な座標仕様でグルーピングする記号幾何学的枠組みであるタングラム構成式(TCE)を提案する。 MLLMは、幾何学的制約を無視しながら、ターゲットのシルエットとのマッチングを優先する傾向がある。
  論文  参考訳（メタデータ） (2026-01-23T07:35:05Z)
• CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
  幾何データシフトにおける共形予測(CP)の問題について検討する。 本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
  論文  参考訳（メタデータ） (2025-06-19T10:12:02Z)
• Point or Line? Using Line-based Representation for Panoptic Symbol Spotting in CAD Drawings [67.5600169375126]
  ベクトルグラフィカルプリミティブからなるCAD図面におけるパノプティカルシンボルスポッティングの課題について検討する。 既存の手法は通常、画像化、グラフ構築、あるいは点ベースの表現に依存している。 本稿では,プリミティブの行ベースの表現を通じてこれらの課題に対処する新しい手法であるVecFormerを提案する。
  論文  参考訳（メタデータ） (2025-05-29T12:33:11Z)
• Sparsification and Reconstruction from the Perspective of Representation Geometry [10.834177456685538]
  スパースオートエンコーダ (SAE) は機械的解釈可能性において主要なツールである。 本研究は,表現幾何学の観点から,空間の原理を説明する。 具体的には、表現を理解し、表現の制約を取り入れることの必要性を強調している。
  論文  参考訳（メタデータ） (2025-05-28T15:54:33Z)
• Geometry-Editable and Appearance-Preserving Object Compositon [67.98806888489385]
  汎用オブジェクト合成(GOC)は、対象オブジェクトを望まれる幾何学的性質を持つ背景シーンにシームレスに統合することを目的としている。 近年のアプローチは意味的埋め込みを導出し、それらを高度な拡散モデルに統合し、幾何学的に編集可能な生成を可能にする。 本稿では,まずセマンティックな埋め込みを活用して,所望の幾何学的変換を暗黙的にキャプチャするDistangled Geometry-editable and Outearance-Preserving Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:05:28Z)
• Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations [34.88156871518115]
  Next-token Prediction (NTP) 最適化により、言語モデルがテキストから意味構造を抽出し、整理する。 我々は、より大きな特異値に対応する概念が訓練中に学習され、自然な意味階層が生成されることを示した。 この洞察は、解釈可能なセマンティックカテゴリを識別するための概念記号を組み合わせる方法である、オーサントベースのクラスタリングを動機付けている。
  論文  参考訳（メタデータ） (2025-05-13T08:46:04Z)
• Constrained belief updates explain geometric structures in transformer representations [1.1666234644810893]
  我々は、最適予測のモデル非依存理論と機械論的解釈可能性を統合し、隠れマルコフモデルのトラクタブルファミリーで訓練されたトランスフォーマーを解析する。 分析では,単一層トランスに着目し,最初のアテンション層がどのように制約付き更新を実装しているかを明らかにする。 これらの表現のアルゴリズム的挙動と基礎となる幾何学の両方が理論的にどのように予測できるかを示す。
  論文  参考訳（メタデータ） (2025-02-04T03:03:54Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Sigma Flows for Image and Data Labeling and Learning Structured Prediction [5.875121114945721]
  本稿では,リーマン多様体上で観測されたデータの構造化ラベル付け予測のためのシグマフローモデルを提案する。 このアプローチは、約25年前にSochen、Kimmel、Malladiが導入したイメージデノナイズとエンハンスメントのためのLaplace-Beltramiフレームワークと、著者らが導入し研究した代入フローアプローチを組み合わせたものだ。
  論文  参考訳（メタデータ） (2024-08-28T17:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。