論文の概要: The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models
- arxiv url: http://arxiv.org/abs/2606.03645v1
- Date: Fri, 29 May 2026 10:55:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.034296
- Title: The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models
- Title（参考訳）: 付加の形状:大規模言語モデルにおける算術の幾何学的構造
- Abstract要約: 大規模言語モデルは、基本的な算術においてパラドックスの幻覚を示し、内部計算と離散出力の解離を意味する。
本稿では,この形状を説明するために雑音量子化モデルを提案し,量子化しきい値を越えて潜伏電位を連続的に押し出す内部雑音による幾何学的スリップとして算術誤差をフレーミングする。
提案手法は, 推論中の量子化故障を効果的に検出し, 補正する幾何整合性検査法を用いて, これらの知見を検証する。
- 参考スコア（独自算出の注目度）: 11.106770083374288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models exhibit paradoxical fragility in fundamental arithmetic, implying a disconnect between internal computation and discrete output. By analyzing the residual stream geometry during multi-operand addition, we identify the Iso-Raw-Sum Trajectory (IRST), a geometric structure where representations are anchored by semantic digits and modulated by continuous carry fibers. We propose the Noisy Quantization Model to explain this geometry, framing arithmetic errors as Geometric Slippages caused by internal neural noise pushing a continuous, latent Carry Potential across quantization thresholds. This geometric framework further elucidates Probe Versatility, explaining how lightweight probes can disentangle coexisting latent signals (such as ground truth versus hallucination) from a single activation vector. Finally, we validate these insights through a geometric consistency check method that effectively detects and corrects these quantization failures during inference. Our code is available at https://github.com/RL-MIND/Shape-of-Addition.
- Abstract（参考訳）: 大規模言語モデルは、基本的な算術においてパラドックス的脆弱性を示し、内部計算と離散出力の切り離しを意味する。
多目的付加時の残留流路形状を解析することにより,表現を意味桁で固定し,連続搬送繊維で変調する幾何学構造であるIso-Raw-Sum Trajectory (IRST)を同定する。
本稿では,この形状を説明するために雑音量子化モデルを提案し,量子化しきい値を越えた連続的な潜伏電位を推し進める内部雑音による幾何学的スリップとして算術誤差をフレーミングする。
この幾何学的枠組みは、プローブバーサティリティをさらに解明し、軽量プローブが1つのアクティベーションベクトルから既存の潜伏信号(例えば、地上の真実と幻覚)を解き放つ方法を説明する。
最後に,これらの知見を幾何的整合性チェック法を用いて検証し,推論中の量子化故障を効果的に検出し,補正する。
私たちのコードはhttps://github.com/RL-MIND/Shape-of-Addition.comで公開されています。
関連論文リスト
- Robust 3D Alignment of Generative Reconstructions via Partial Monocular Observations [46.983222121901235]
生成から部分的単分子観測アライメントは、コンピュータビジョンにおける重要な課題であるが、未発見の課題である。
本稿では,3次元類似度変換によって生成した3次元前処理を基盤とした,学習不要かつ解釈可能な幾何学的アライメントフレームワークを提案する。
実験により,本手法は,古典的幾何学的パイプラインと最先端の学習ベースラインの両方を著しく上回り,安定かつ正確な登録を実現することが示された。
論文 参考訳（メタデータ） (2026-07-01T06:30:47Z) - A geometric relation of the error introduced by sampling a language model's output distribution to its internal state [0.0]
GPTスタイルの言語モデルは、予測確率分布が複数のトークンに分散する生成点における単一トークンの変化に敏感である。
このことから,トークン空間の幾何学はモデルが内部的に問題を表現する方法を直接反映していることが示唆された。
論文 参考訳（メタデータ） (2026-05-06T13:28:16Z) - A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。
MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。
合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-05T20:19:09Z) - The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations [6.414826816896125]
大規模言語モデル(LLM)は連続的な意味空間をスムーズに一般化するが、厳密な論理的推論は決定境界の形成を要求する。
我々は、タスクコンテキストが、必要な「トポロジ的歪み」を強制する非等方的力学演算子として機能すると主張している。
この幾何学的進化は、単純な写像から複雑な原始性テストまで、タスクの勾配を越えて検証する。
論文 参考訳（メタデータ） (2026-03-24T13:41:57Z) - Latent Semantic Manifolds in Large Language Models [0.0]
本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。
我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。
本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
論文 参考訳（メタデータ） (2026-03-17T13:05:56Z) - Emergent Manifold Separability during Reasoning in Large Language Models [46.78826734548872]
Chain-of-Thoughtは大規模言語モデルの推論を大幅に改善する。
本研究では,潜伏表現の線形分離性について,探究訓練の難易度を考慮せずに定量化する。
論文 参考訳（メタデータ） (2026-02-23T20:36:17Z) - TokenBlowUp: Resolving Representational Singularities in LLM Token Spaces via Monoidal Transformations [0.9179857807576733]
最近の研究は、大規模言語モデルのトークン埋め込み空間に対する基礎多様体仮説に挑戦する説得力のある証拠を提供している。
我々はこの問題をスキーム理論の言語で定式化し、スキーム理論のブローアップを各特異点に適用することにより厳密な解法を提案する。
我々は、この新しい空間の幾何学的正則化を保証する公式な定理を証明し、元の病理が解決されたことを示す。
論文 参考訳（メタデータ） (2025-07-26T02:39:54Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - Topological Obstructions and How to Avoid Them [22.45861345237023]
局所最適性は特異点や不正確な次数や巻数によって生じる可能性があることを示す。
本稿では,データポイントを幾何学空間上のマルチモーダル分布にマッピングするフローベースモデルを提案する。
論文 参考訳（メタデータ） (2023-12-12T18:56:14Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。
我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
論文 参考訳（メタデータ） (2021-05-06T17:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。