論文の概要: A Generalized Spectral Framework to Expain Neural Scaling and Compression Dynamics
- arxiv url: http://arxiv.org/abs/2511.07892v2
- Date: Mon, 17 Nov 2025 07:55:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:22.094658
- Title: A Generalized Spectral Framework to Expain Neural Scaling and Compression Dynamics
- Title（参考訳）: ニューラルスケーリングと圧縮ダイナミクスに影響を及ぼす一般化スペクトルフレームワーク
- Authors: Yizhou Zhang,
- Abstract要約: 実証的なスケーリング法則は、テスト損失やその他のパフォーマンス指標がどのようにモデルのサイズ、データセットのサイズ、計算に依存するかを記述する。
本稿では,一般的な機能的アンザッツの下での学習力学と圧縮現象を統一するスペクトルフレームワークを開発する。
- 参考スコア（独自算出の注目度）: 2.779943773196378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical scaling laws describe how test loss and other performance metrics depend on model size, dataset size, and compute. While such laws are consistent within specific regimes, apparently distinct scaling behaviors have been reported for related settings such as model compression. Motivated by recent progress in spectral analyses of neural representations, this paper develops a \emph{generalized spectral framework} that unifies learning dynamics and compression phenomena under a common functional ansatz. We generalize the spectral evolution function from the linear kernel form $g(λt)=λt$ to an asymptotically polynomial function $g(λ,t;β)$, characterized by an effective spectral--temporal elasticity $ρ(β)$. This framework recovers existing lazy and feature-learning theories as special cases and yields an invariant relation between learning and compression
- Abstract（参考訳）: 実証的なスケーリング法則は、テスト損失やその他のパフォーマンス指標がモデルのサイズ、データセットのサイズ、計算に依存するかを記述する。
このような法則は特定のレギュレーション内で一貫しているが、モデル圧縮のような関連する設定に対して明らかに異なるスケーリングの挙動が報告されている。
本稿では,ニューラル表現のスペクトル分析の最近の進歩に触発され,共通の機能的アンザッツの下での学習力学と圧縮現象を統一する「emph{ Generalized spectrum framework」を開発した。
スペクトル進化関数を線形カーネル形式 $g(λt)=λt$ から漸近多項式関数 $g(λ,t;β)$ に一般化する。
この枠組みは,既存の遅延学習理論と特徴学習理論を特殊事例として回復し,学習と圧縮の不変性をもたらす
関連論文リスト
- Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra [0.0]
ニューラルスケーリング法則は、深層ニューラルネットワークのパフォーマンスが、トレーニングデータサイズ、モデルの複雑さ、トレーニング時間などの重要な要因とどのようにスケールするかを記述する。
我々は, 統計力学の手法を用いて, 生徒-教員間の一パス勾配勾配を解析する。
論文 参考訳（メタデータ） (2024-10-11T17:21:42Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:39:18Z) - Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。
この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。
また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
論文 参考訳（メタデータ） (2022-11-11T23:00:30Z) - Scale Dependencies and Self-Similar Models with Wavelet Scattering
Spectra [1.5866079116942815]
複雑なウェーブレット変換は、各スケールで信号の変動を計算する。
スケール間の依存性は、ウェーブレット係数の時間とスケールのジョイント相関によって捉えられる。
このモーメントのベクトルは多スケールプロセスのガウス的でない幅広い性質を特徴付けることを示す。
論文 参考訳（メタデータ） (2022-04-19T22:31:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。