論文の概要: A Spectral Renormalization-Group View of Learning

• arxiv url: http://arxiv.org/abs/2611.00422v1
• Date: Fri, 30 Oct 2026 22:15:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 22:29:06.571064
• Title: A Spectral Renormalization-Group View of Learning
• Title（参考訳）: スペクトル再正規化-学習の集団的視点-
• Abstract要約: 我々は、Wilsonian Renormalization-Group(RG)のアイデアを用いて、ディープニューラルネットワーク(NN)の層がどのように収束するかを研究する。 我々の統計的仮説では、$=2$は、最適な学習ではないが、非自己学習による過度な学習の境界である。 物理的な答えは、同じ値がスペクトルエネルギーゲインスケールを均等に対数スペクトルスケール(Wilsonian marginal condition)にするということである。
• 参考スコア（独自算出の注目度）: 1.9628820381177903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how the layers in deep neural networks (NNs) converge, using Wilsonian Renormalization-Group (RG) ideas to organize the spectral picture. During training, these layers often develop heavy-tailed power-law (PL) spectra, and the strongest checkpoints often appear near the PL exponent $α\approx 2$. This pattern raises a simple question: why should this value mark a well-trained layer? The answer is both statistical and physical. Our statistical hypothesis is that $α=2$ marks the boundary between stable if not optimal learning and overfitting via non-self-averaging. The physical answer is that the same value makes the spectral energy gain scale evenly across logarithmic spectral scales, which is the proposed Wilsonian marginal condition. We then apply the ERG trace-log condition, the proposed SETOL theory, which we justify by taking volume-preserving, scale-invariant transformations to remove arbitrary layer scale along the proposed RG flow. The resulting spectral RG flow connects the HTSR and SETOL theories to optimizers such as Muon, and motivates a new optimizer extension, WW-PGD. Together, these results point toward a spectral Renormalization-Group view of learning, in which NNs may approach shared spectral structure in the settings studied here.
• Abstract（参考訳）: 我々は、Wilsonian Renormalization-Group(RG)のアイデアを用いて、ディープニューラルネットワーク(NN)の層がどのように収束するかを研究する。 トレーニング中、これらの層は、しばしばヘビーテールのパワーロースペクトル(PL)を発生させ、最も強いチェックポイントは、PL指数の$α\approx 2$の近くに現れる。 このパターンは単純な疑問を提起します。なぜこの値がよく訓練された層にマークすべきなのでしょうか? 答えは統計的と物理的の両方です。 我々の統計的仮説では、$α=2$は、最適な学習ではないが、非自己学習による過度な学習の境界である。 物理的な答えは、同じ値がスペクトルエネルギーゲインを対数スペクトルスケールで均等にスケールさせることである。 次に、ERGトレースログ条件、提案したSETOL理論を適用し、ボリューム保存、スケール不変変換を用いて、提案したRGフローに沿った任意の層スケールを除去する。 結果として生じるスペクトルRGフローは、HTSRとSETOL理論をMuonのようなオプティマイザに接続し、新しいオプティマイザ拡張であるWW-PGDを動機付けている。 これらの結果は, NNが共有スペクトル構造にアプローチすることのできる学習のスペクトル再正規化群(Spectral Renormalization-Group view)に向けられている。

関連論文リスト

• Colored Graph Signal Diffusion Models [74.4743836415046]
  カラー拡散は標準拡散よりもはるかに少ないサンプリングステップで所定の生成品質に達することを示す。 グラフニューラルネットワークは、残りの非ガウス依存を学習する。
  論文  参考訳（メタデータ） (2026-10-12T18:35:43Z)
• Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis [54.1075866464923]
  近年の研究では、データに対するパワーロースペクトル条件は、決定論的勾配勾配の厳密な収束境界を可能にすることが確認されている。 この結果を高次元機械学習の体制に拡張する。 我々の結果は、抽象スペクトル理論と実践的な訓練選択のギャップを埋め、データの最適化速度の統一的な画像を提供する。
  論文  参考訳（メタデータ） (2026-09-28T21:01:43Z)
• Learning to Refine: Spectral-Decoupled Iterative Refinement Framework for Precipitation Nowcasting [21.300422393514804]
  本稿では,現在放送を進行周波数分離改良として再編成する決定論的枠組みを提案する。 SDIRはまず安定な低周波合成骨格を抽出し、次いで物理的制約下で高周波テクスチャを反復的に洗練する。 3つのベンチマークで実験したところ、SDIRは空間精度でSOTA法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-06-01T07:34:30Z)
• Robust Graph Representation Learning via Adaptive Spectral Contrast [0.9558392439655014]
  高周波信号はヘテロフィリーの符号化には不可欠であるが、スペクトル集中摂動下では大きなばらつきを示す。 信頼性を考慮したスペクトルゲーティング機構により,このジレンマを解消するフレームワークであるASPECTを提案する。 ASPECTは9つのベンチマークのうち8つで新しい最先端のパフォーマンスを実現し、有意義な構造的ヘテロフィリを偶発的なノイズから効果的に分離する。
  論文  参考訳（メタデータ） (2026-04-02T10:38:00Z)
• Laplacian-LoRA: Delaying Oversmoothing in Deep GCNs via Spectral Low-Rank Adaptation [0.0]
  標準グラフ畳み込みネットワーク(GCN)の低ランク適応であるLaplacian-LoRAを提案する。 メッセージパッシングを再設計する代わりに、Laplacian-LoRAは学習可能でスペクトルに固定された修正を固定されたLaplacian伝搬演算子に導入する。 また,Laplacian-LoRAはGCNの有効深度を最大2倍にまで延ばし,過スムージングの開始を連続的に遅らせることを示した。
  論文  参考訳（メタデータ） (2026-02-07T00:03:19Z)
• Which Graph Shift Operator? A Spectral Answer to an Empirical Question [2.0917449835910404]
  入力信号とラベル部分空間の間の幾何学的歪みを定量化する新しいアライメントゲイン計量を導入する。 我々の理論的解析は、このアライメントをリプシッツ定数のスペクトルプロキシを介して一般化境界に直結させる。 これにより、計算をランク付けし、トレーニング前の任意の予測タスクに対して最適なGSOを選択するという、原則的かつ効率的な基準が得られる。
  論文  参考訳（メタデータ） (2026-02-06T09:59:54Z)
• A Spectral Interpretation of Redundancy in a Graph Reservoir [51.40366905583043]
  この研究はMRGNN(Multi resolution Reservoir Graph Neural Network)における貯留層の定義を再考する。 コンピュータグラフィックスにおける表面設計の分野で最初に導入されたフェアリングアルゴリズムに基づく変種を提案する。 この論文の中核的な貢献は、ランダムウォークの観点からのアルゴリズムの理論解析にある。
  論文  参考訳（メタデータ） (2025-07-17T10:02:57Z)
• Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
  グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。 Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。 10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。