論文の概要: TokenBlowUp: Resolving Representational Singularities in LLM Token Spaces via Monoidal Transformations
- arxiv url: http://arxiv.org/abs/2507.19747v2
- Date: Wed, 30 Jul 2025 23:48:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 13:02:07.679313
- Title: TokenBlowUp: Resolving Representational Singularities in LLM Token Spaces via Monoidal Transformations
- Title（参考訳）: TokenBlowUp:モノイダル変換によるLLMトークン空間の表現特異性の解消
- Authors: Dongfang Zhao,
- Abstract要約: 最近の研究は、大規模言語モデルのトークン埋め込み空間に対する基礎多様体仮説に挑戦する説得力のある証拠を提供している。
我々はこの問題をスキーム理論の言語で定式化し、スキーム理論のブローアップを各特異点に適用することにより厳密な解法を提案する。
我々は、この新しい空間の幾何学的正則化を保証する公式な定理を証明し、元の病理が解決されたことを示す。
- 参考スコア（独自算出の注目度）: 1.3824176915623292
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent work has provided compelling evidence challenging the foundational manifold hypothesis for the token embedding spaces of Large Language Models (LLMs). These findings reveal the presence of geometric singularities around polysemous tokens, which can lead to representational instability. Existing methodologies, which presuppose a smooth data manifold, are ill-equipped to address such intrinsic structural flaws. In this paper, we formalize this problem in the language of scheme theory and propose a rigorous resolution by applying the scheme-theoretic blow-up at each singular point. This procedure replaces a singular point in the ambient affine scheme with its exceptional divisor, which we identify as a canonical geometric space -- a projective space of directions -- that houses the disambiguated semantic meanings of the token. This process of ``representational desingularization'' constructs a new geometric landscape for embeddings. We prove a formal theorem guaranteeing the geometric regularization of this new space, showing that the original pathologies are resolved. Finally, we outline the architectural implications of our framework, arguing for a paradigm shift from static look-ups to dynamic, geometrically-grounded computation.
- Abstract（参考訳）: 最近の研究は、Large Language Models (LLMs) のトークン埋め込み空間に対する基礎多様体仮説に挑戦する説得力のある証拠を提供している。
これらの結果から,多面体トークンの周囲に幾何学的特異点が存在することが明らかとなり,表現的不安定が生じる可能性が示唆された。
滑らかなデータ多様体を前提とする既存の手法は、そのような本質的な構造的欠陥に対処するには不十分である。
本稿では,この問題をスキーム理論の言語で定式化し,スキーム理論を各特異点に応用して厳密な解法を提案する。
この手順は、周囲のアフィンスキームの特異点を例外的な因子に置き換え、トークンの曖昧な意味を格納する正準幾何学空間(方向の射影空間)と同一視する。
この 'representational desingularization' のプロセスは埋め込みのための新しい幾何学的景観を構築する。
我々は、この新しい空間の幾何学的正則化を保証する公式な定理を証明し、元の病理が解決されたことを示す。
最後に,静的なルックアップから動的,幾何学的な基底計算へのパラダイムシフトを論じ,フレームワークのアーキテクチャ的意味を概説する。
関連論文リスト
- Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries [42.83280708842304]
ユークリッド空間は、機械学習アーキテクチャの事実上の幾何学的設定である。
大規模では、実世界のデータは、多方向関係、階層、対称性、非等方スケーリングなど、本質的に非ユークリッド構造を示すことが多い。
本稿では,ユークリッド幾何学を超越した移動は,単なる任意の拡張ではなく,次世代基礎モデルのスケーリング法則を維持することの必要性を論じる。
論文 参考訳（メタデータ） (2025-04-11T18:07:33Z) - Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Decoder ensembling for learned latent geometries [15.484595752241122]
我々は、関連する予想多様体上の測地線を容易に計算する方法を示す。
このシンプルで信頼性が高く、簡単に使える潜在測地に一歩近づきます。
論文 参考訳（メタデータ） (2024-08-14T12:35:41Z) - Learning Visual-Semantic Subspace Representations [49.17165360280794]
我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。
この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
論文 参考訳（メタデータ） (2024-05-25T12:51:38Z) - Topological Obstructions and How to Avoid Them [22.45861345237023]
局所最適性は特異点や不正確な次数や巻数によって生じる可能性があることを示す。
本稿では,データポイントを幾何学空間上のマルチモーダル分布にマッピングするフローベースモデルを提案する。
論文 参考訳（メタデータ） (2023-12-12T18:56:14Z) - Basis restricted elastic shape analysis on the space of unregistered
surfaces [10.543359560247847]
本稿では,表面解析のための新しい数学的および数値的枠組みを提案する。
私たちが開発しているアプローチの特異性は、許容変換の空間を変形場の予め定義された有限次元基底に制限することである。
我々は、人体形状やポーズデータ、人間の顔スキャンに対するアプローチを具体的に検証し、形状登録、移動移動、ランダムポーズ生成といった問題に対して、一般的に最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-07T23:06:22Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - Geometric Scattering on Measure Spaces [15.819230791757906]
測度空間上での幾何散乱の一般統一モデルを導入する。
未知多様体をランダムにサンプリングして得られる有限測度空間を考える。
本稿では, 関連するグラフ散乱変換が基礎多様体上の散乱変換を近似するデータ駆動グラフを構築するための2つの方法を提案する。
論文 参考訳（メタデータ） (2022-08-17T22:40:09Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-03-20T16:23:17Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳（メタデータ） (2021-12-17T11:43:30Z) - A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。
我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
論文 参考訳（メタデータ） (2021-05-06T17:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。