論文の概要: The Geometry of Semantic Space: A Continuous Geometric Framework for the Transformer Architecture

• arxiv url: http://arxiv.org/abs/2607.17146v1
• Date: Sun, 19 Jul 2026 09:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.381689
• Title: The Geometry of Semantic Space: A Continuous Geometric Framework for the Transformer Architecture
• Title（参考訳）: 意味空間の幾何学:トランスフォーマーアーキテクチャのための連続幾何学的フレームワーク
• Abstract要約: ファイババンドル上の積分微分方程式(IDE)としてトランスフォーマーアーキテクチャの離散演算をモデル化する連続フレームワークを提案する。 我々は1億2400万ドルから8億ドルのパラメータにまたがる6つの実験キャンペーンを実施している。 その結果、微分幾何学のレンズを通してトランスフォーマーを解析することは、大きな言語モデルに対して記述的な語彙を提供することを示した。
• 参考スコア（独自算出の注目度）: 0.7310043452300737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a continuous geometric framework that models the discrete algebraic operations of the Transformer architecture as an integro-differential equation (IDE) on a semantic fiber bundle $\calE = \calM \times \R^d$. Beginning from a single geometric axiom -- that the token sequence forms a discrete $1$-manifold equipped with a canonical measure lattice -- we translate every core component of the modern Transformer (RMSNorm, RoPE, Softmax Attention, FFN, Residual Stream, SGD, Weight Decay) into a cohesive vocabulary of differential geometry, measure theory, and stochastic calculus. The resulting framework yields quantitative predictions spanning entropic optimal transport (Attention as a Schrödinger bridge) and non-equilibrium thermodynamics (SGD as Itô diffusion violating detailed balance). We conduct a six-part experimental campaign across five architectures (Qwen3, LLaMA\nobreakdash-3.1, Gemma\nobreakdash-3, GPT-2, Mistral) spanning $124$M to $8$B parameters. The empirical observables are quantitatively consistent with the geometric predictions: the $ε^{-1/2}$ Lipschitz scaling calibration at machine precision ($R^2 = 1.000$), the Lie--Trotter operator-splitting torsion, the symmetric ablation instability confirming the Dual-Law of Topological Stability, the $\calO(1/\sqrt{k})$ thermodynamic suppression of Poincaré recurrence on the RoPE torus, the thermodynamic context-limit phase transition, and the Non-Equilibrium Steady State parameter vortex -- verified across two optimizers (AdamW and Pure SGD) to exclude momentum artifacts. The results demonstrate that analyzing Transformers through the lens of continuous stochastic differential geometry provides a predictive descriptive vocabulary for the stability limits, context bounds, and optimization dynamics of Large Language Models.
• Abstract（参考訳）: 本稿では,Transformer アーキテクチャの離散代数演算を,意味ファイバーバンドル $\calE = \calM \times \R^d$ 上の積分微分方程式 (IDE) としてモデル化する連続幾何学的枠組みを提案する。 トークン列が標準測度格子を備えた離散的な1ドル多様体を形成する単一幾何学公理から始まり、現代変換器(RMSNorm, RoPE, Softmax Attention, FFN, Residual Stream, SGD, Weight Decay)のすべてのコア成分を微分幾何学、測度理論、確率計算の結合語彙に変換する。 結果として得られる枠組みは、エントロピーの最適輸送(シュレーディンガー橋としてのアテンション)と非平衡熱力学(SGDはイトー拡散が詳細なバランスを違反する)にまたがる定量的な予測をもたらす。 我々は5つのアーキテクチャ(Qwen3, LLaMA\nobreakdash-3.1, Gemma\nobreakdash-3, GPT-2, Mistral)にまたがる6つの実験を行った。 ε^{-1/2}$ Lipschitz scale calibration at machine precision (R^2 = 1.000$), the Lie-Trotter operator-splitting Torsion, the symmetric ablation instability confirmeding the Dual-Law of Topological stability, the $\calO(1/\sqrt{k})$ thermodynamic suppress of Poincaré repeatence on the RoPE torus, the thermodynamic context-limit phase transition, and the Non-Equirium Steady State parameter vortex -- confirmed across two optrs (Adam and Pure SGD) to exhausts。 その結果,変圧器を連続確率微分幾何学のレンズを通して解析することで,安定性限界,文脈境界,および大言語モデルの最適化力学の予測的記述語彙が得られることがわかった。

関連論文リスト

• Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI [0.7766379063545538]
  本稿では,パラメトリックモデルから無限次元最小化非漸近統計へ持ち上げる情報幾何学的パラダイムである統計的意味幾何(SMG)フレームワークを紹介する。 接続フィルタによる事前学習の下では、分布外分布予測分散は、同定可能な基底多様体 $mathcalB$ の有限径によって厳密に上界となり、生成幻覚の厳密な幾何学的包含が確立される。
  論文  参考訳（メタデータ） (2026-07-03T13:46:31Z)
• Spectral and thermodynamic properties of supersymmetric quantum systems with self-adjoint deformed momentum [0.0]
  厳密な自己共役変形運動量演算子を構築することにより、幾何学的変形を伴う量子システムのための厳密な枠組みを構築する。 分割関数を解析的に評価することにより,このようなシステムの完全な熱力学特性を初めて明らかにする。 これらの結果は、曲面ナノ構造における量子熱力学応答の工学的パラメータとして幾何学的変形を確立する。
  論文  参考訳（メタデータ） (2026-06-20T15:43:06Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization [45.69980208532521]
  3つの異なるスケーリング体制を解析することで、このギャップを解決するための原則的な一歩を踏み出します。 各体制に対して,MoEsの制限的トレーニング力学に関する新しい力学平均場理論(DMFT)を考案する。 結果として生じる$Pの処方は、スケールや頑健な学習速度の移動による単調な改善を確実に引き起こさないことを示す。
  論文  参考訳（メタデータ） (2026-05-13T23:32:00Z)
• Universal Spin Squeezing Dynamical Phase Transitions across Lattice Geometries, Dimensions, and Microscopic Couplings [0.0]
  ボゴリューボフ理論は、長い範囲の相互作用状態において、以前に特定されたスケーリング $a_Z* プロット L$ を d+2$ で回復する。 これは、短距離相互作用に対する未認識のサブ線形構造を明らかにする。 これらの知見は、Rydberg-array、極性分子、トラップイオンプラットフォームにおける絡み合いの発生を制御するための多用途経路を提供する。
  論文  参考訳（メタデータ） (2026-05-13T18:00:07Z)
• Entropic Riemannian Neural Optimal Transport [41.69130102668252]
  本稿では,内在性エントロピーOTと外乱評価を併用した統合フレームワークを提案する。 私たちのメソッドは、$mathbbS2$, $mathrmSO(3)$, $mathrmSPD(3)$, $mathrmSE(3)$, $mathbbH2$のベンチマーク上で、Euclidean、tangent-space、log-Euclideanのベースラインと一致または改善します。
  論文  参考訳（メタデータ） (2026-05-05T19:43:03Z)
• Permutation-Equivariant 2D State Space Models: Theory and Canonical Architecture for Multivariate Time Series [16.396187082494958]
  置換対称性の原理の違反を定式化し、状態空間力学は変軸に沿った置換同変であることが要求される。 可変不変2次元状態空間モデル (VI 2D SSM) を導入し, 変分不変アグリゲーションによる正準同変形式を実現する。
  論文  参考訳（メタデータ） (2026-03-07T04:10:20Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Transmutation based Quantum Simulation for Non-unitary Dynamics [35.35971148847751]
  A=Ldagger L$という形の正半定値作用素によって生成される散逸拡散力学をシミュレートする量子アルゴリズムを提案する。 我々の主な道具はカンナイ変換であり、これは拡散半群 $e-TA$ をユニタリ波動伝搬器のガウス重み付き重ね合わせとして表す。
  論文  参考訳（メタデータ） (2026-01-07T05:47:22Z)
• Platonic Transformers: A Solid Choice For Equivariance [25.29042615187704]
  このトレードオフを解決するために、Platonic Transformerを導入します。 プラトンソリッド対称性群から参照フレームに対する注意を定義することにより、本手法は原則的重み共有スキームを導出する。 この注意は、動的群畳み込みと正式に等価であることを示し、モデルが適応的幾何フィルタを学習していることを明らかにする。
  論文  参考訳（メタデータ） (2025-10-03T20:51:25Z)
• Harmonizing SO(3)-Equivariance with Neural Expressiveness: a Hybrid Deep Learning Framework Oriented to the Prediction of Electronic Structure Hamiltonian [36.13416266854978]
  HarmoSEは、ディープラーニングのための2段階のケースケード回帰フレームワークである。 第1段階は、豊富なSO(3)-同変の特徴を抽出したハミルトニアンを予測する。 第2段階はハミルトニアンの詳細な予測として第1段階の出力を洗練させる。
  論文  参考訳（メタデータ） (2024-01-01T12:57:15Z)
• The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit [38.89510345229949]
  本研究では、無限深度と幅の比例極限におけるスキップ接続を持つ修正Softmaxベースのアテンションモデルの共分散行列について検討する。 適切に定義された限界を達成するため、Transformerのアテンション機構は、Softmax出力をアイデンティティに集中させることで変更される。 シミュレーションにより、深さと幅の比で指数付けされた微分方程式(SDE)が、対応する有限サイズモデルの驚くほど良い記述を提供することを示した。
  論文  参考訳（メタデータ） (2023-06-30T16:10:36Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。