論文の概要: On the Spectral Flattening of Quantized Embeddings

• arxiv url: http://arxiv.org/abs/2602.00969v1
• Date: Sun, 01 Feb 2026 02:21:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.49405
• Title: On the Spectral Flattening of Quantized Embeddings
• Title（参考訳）: 量子化埋め込みのスペクトル平坦化について
• Authors: Junlin Huang, Wenyi Fang, Zhenheng Tang, Yuxin Wang, Xueze Kang, Yang Zheng, Bo Li, Xiaowen Chu,
• Abstract要約: 超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
• 参考スコア（独自算出の注目度）: 25.64641307046705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Large Language Models (LLMs) at ultra-low precision is critically impeded by instability rooted in the conflict between discrete quantization constraints and the intrinsic heavy-tailed spectral nature of linguistic data. By formalizing the connection between Zipfian statistics and random matrix theory, we prove that the power-law decay in the singular value spectra of embeddings is a fundamental requisite for semantic encoding. We derive theoretical bounds showing that uniform quantization introduces a noise floor that disproportionately truncates this spectral tail, which induces spectral flattening and a strictly provable increase in the stable rank of representations. Empirical validation across diverse architectures including GPT-2 and TinyLlama corroborates that this geometric degradation precipitates representational collapse. This work not only quantifies the spectral sensitivity of LLMs but also establishes spectral fidelity as a necessary condition for stable low-bit optimization.
• Abstract（参考訳）: 超低精度での大規模言語モデル(LLMs)の訓練は、離散量子化制約と言語データの固有の重み付きスペクトル特性の相違に根ざした不安定性によって著しく阻害される。 Zipfian 統計学とランダム行列理論の接続を形式化することにより、埋め込みの特異値スペクトルにおけるパワーロー減衰が意味論的エンコーディングの基本的な必要条件であることが証明できる。 我々は、均一な量子化がスペクトルの尾を不均等に切り離すノイズフロアを導入し、スペクトルの平坦化を誘発し、表現の安定度が厳密に向上することを示す理論的境界を導出する。 GPT-2 や TinyLlama などの様々なアーキテクチャにおける実証的検証は、この幾何学的劣化が表現的崩壊を引き起こすことを裏付けている。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。

関連論文リスト

• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
  構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。 最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値 を抑えることを示す。 ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
  論文  参考訳（メタデータ） (2026-01-05T13:09:42Z)
• Quantum Filtering and Analysis of Multiplicities in Eigenvalue Spectra [4.081730190778995]
  本稿では,固有値のクラスタを効率よく同定し,その多重度を決定する量子アルゴリズムQFAMESを紹介する。 QFAMESはまた、ターゲットエネルギークラスタ内の観測可能な期待値の推定を可能にする。 数値実験によるQFAMESの有効性を検証する。
  論文  参考訳（メタデータ） (2025-10-08T18:37:36Z)
• Theoretical Bounds for Stable In-Context Learning [0.0]
  In-context Learning (ICL) は柔軟性があるが、その信頼性は迅速な長さに敏感である。 本稿では、最小数の実証とICL安定性を結びつける非漸近的下界を確立する。 本稿では,1ショットキャリブレーションを施した2段階観測可能推定器を提案する。
  論文  参考訳（メタデータ） (2025-09-25T02:25:05Z)
• Avoiding spectral pollution for transfer operators using residuals [0.6116681488656472]
  スペクトル汚染のない遷移作用素のスペクトル特性を計算するためのアルゴリズムを提案する。 ケーススタディは、既知のスペクトルを持つブラスキー写像の族からタンパク質の折り畳みの分子動力学モデルまで様々である。 提案手法は,幅広いアプリケーションにまたがるスペクトル推定のための堅牢なツールを提供する。
  論文  参考訳（メタデータ） (2025-07-22T18:01:05Z)
• Avoided-crossings, degeneracies and Berry phases in the spectrum of quantum noise through analytic Bloch-Messiah decomposition [49.1574468325115]
  解析的ブロッホ・メシア分解 (analytic Bloch-Messiah decomposition) は量子光学系の力学を特徴づけるためのアプローチを提供する。 単一パラメータが変化した場合,回避された交差は自然に発生し,特異ベクトルの過敏性をもたらすことを示す。 我々は,避けられた交差を意図的に設計することで,フォトニックシステムのスペクトル応答をプログラムできる可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-29T13:14:15Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• Leave-one-out Singular Subspace Perturbation Analysis for Spectral Clustering [7.342677574855651]
  特異部分空間摂動理論は確率と統計において基本的な重要性を持つ。 2つの任意の行列を考え、一方はもう一方の行列の1カラムアウト部分行列である。 混合モデルに適しており、ウェディンの定理のような古典的な摂動境界よりも鋭く、より詳細な統計解析をもたらす。
  論文  参考訳（メタデータ） (2022-05-30T05:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。