論文の概要: Free Decompression with Algebraic Spectral Curves

• arxiv url: http://arxiv.org/abs/2605.03634v1
• Date: Tue, 05 May 2026 11:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.909339
• Title: Free Decompression with Algebraic Spectral Curves
• Title（参考訳）: 代数スペクトル曲線による自由解圧
• Authors: Siavash Ameli, Chris van der Heide, Liam Hodgkinson, Michael W. Mahoney,
• Abstract要約: 自由減圧法 (FD) は, 行列サイズにまたがるスペクトル情報を外挿する手法として最近提案されている。 本稿では、FDを容易に統合可能なスペクトル曲線に沿った進化として再考する。 現代の機械学習への関心モデルに対する我々のフレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 45.17701640697655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tools from random matrix theory have become central to deep learning theory, using spectral information to provide mechanisms for modeling generalization, robustness, scaling, and failure modes. While often capable of modeling empirical behavior, practical computations are limited by matrix size, often imposing a restriction to models that are too small to be realistic. This motivates the inference of properties of larger models from the behavior of smaller ones. Free decompression (FD) is a recently proposed method for extrapolating spectral information across matrix sizes, but its utility is currently limited by strong assumptions that preclude its implementation on more realistic machine learning (ML) models. We use algebraic spectral curve theory to provide a general FD methodology for spectral densities whose Stieltjes transform satisfies an algebraic relation, a modeling assumption that is more likely to hold in practice. This recasts FD as an evolution along spectral curves which can be readily integrated. Our framework enables the expansion of spectral densities that have multiple or multi-modal bulks, that exist at multiple scales, and that contain atoms, all characteristic of real-world data and popular ML models. We demonstrate the efficacy of our framework on models of interest in modern ML, including Hessian and activation matrices associated with neural networks and large-scale diffusion models.
• Abstract（参考訳）: ランダム行列理論のツールは、スペクトル情報を用いて一般化、堅牢性、スケーリング、障害モードをモデル化するためのメカニズムを提供する、深層学習理論の中心となっている。 経験的な振る舞いをモデル化できることが多いが、現実的な計算は行列のサイズによって制限され、現実的になるには小さすぎるモデルに制限を与えることが多い。 これは、より小さなモデルの振る舞いからより大きなモデルの特性を推測する動機となる。 フリーデプレッション(FD)は、最近提案された行列サイズのスペクトル情報を外挿する手法であるが、その実用性は、より現実的な機械学習(ML)モデルの実装を妨げる強い仮定によって制限されている。 我々は代数的スペクトル曲線理論を用いて、スティルチェス変換が代数的関係を満たすスペクトル密度の一般的なFD方法論を提供する。 これにより、FDは容易に統合できるスペクトル曲線に沿った進化として再キャストされる。 我々のフレームワークは、複数のスケールに存在する多重または多モードのバルクを持つスペクトル密度の拡大を可能にし、実世界のデータと一般的なMLモデルの特徴である原子を含む。 ニューラルネットワークや大規模拡散モデルに関連するヘッセン行列やアクティベーション行列を含む,現代のMLに対する関心モデルに対する我々のフレームワークの有効性を実証する。

関連論文リスト

• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Preventing Model Collapse in Gaussian Process Latent Variable Models [11.45681373843122]
  本稿では,線形フーリエVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。 我々は、スペクトル混合(SM)カーネルと微分可能乱数特徴(RFF)カーネル近似を統合することにより、カーネルの柔軟性が不十分なため、モデル崩壊に取り組む。 提案したVMは、アドバイスRFLVMと呼ばれ、さまざまなデータセットで評価され、さまざまな競合モデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-02T06:58:41Z)
• Invertible Low-Dimensional Modelling of X-ray Absorption Spectra for Potential Applications in Spectral X-ray Imaging [0.0]
  我々は、深層ニューラルネットワークオートエンコーダとSingular Value Decomposition(SVD)に基づく最適線形モデルを組み合わせた、新しい非線形モデルを提案する。 我々は従来のモデルよりも,特にKエッジを含むX線吸収スペクトルをエネルギー範囲でモデル化する場合に,本手法の利点を実証する。
  論文  参考訳（メタデータ） (2023-07-10T11:14:19Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Information-theoretic limits of a multiview low-rank symmetric spiked matrix model [19.738567726658875]
  我々は、高次元推論問題の重要なクラス、すなわちスパイクされた対称行列モデルの一般化を考える。 シングルレター公式の証明を通じて情報理論の限界を厳格に確立する。 我々は最近導入された適応手法を改良し、低ランクモデルの研究に利用できるようにした。
  論文  参考訳（メタデータ） (2020-05-16T15:31:07Z)
• Explainable Matrix -- Visualization for Global and Local Interpretability of Random Forest Classification Ensembles [78.6363825307044]
  本研究では,ランダムフォレスト (RF) 解釈のための新しい可視化手法である Explainable Matrix (ExMatrix) を提案する。 単純なマトリックスのようなメタファで、行はルール、列は特徴、セルはルールを述語する。 ExMatrixの適用性は、異なる例を通じて確認され、RFモデルの解釈可能性を促進するために実際にどのように使用できるかを示している。
  論文  参考訳（メタデータ） (2020-05-08T21:03:48Z)
• Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
  本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。 一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
  論文  参考訳（メタデータ） (2020-03-25T03:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。