論文の概要: Geometric and Spectral Alignment for Deep Neural Network I

• arxiv url: http://arxiv.org/abs/2605.02108v1
• Date: Mon, 04 May 2026 00:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.085611
• Title: Geometric and Spectral Alignment for Deep Neural Network I
• Title（参考訳）: 深部ニューラルネットワークのための幾何学的・分光的アライメント I
• Authors: Ziran Liu, Wei Wang, Jinhao Wang, Pengcheng Wang, Xinyi Sui, Cihan Ruan, Nam Ling, Wei Jiang,
• Abstract要約: 我々はフロベニウス正規化層因子の特異スペクトルに対する決定論的商-幾何推定を証明した。 フルランク因子は$mathrmGL(d)$から$Amapsto Atop A$によって正の円錐にマッピングされ、次に順序付けられた固有値データにマップされる。 正規化残鎖に対する近似パワーローおよび計量チャートバージョン、逆下界、フィッシャー--KL/バーズ作用推定、およびほぼ同一性拡張を証明した。
• 参考スコア（独自算出の注目度）: 12.227949990332363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep residual architectures are modeled as products of near-identity Jacobians. This paper proves deterministic quotient-geometric estimates for singular spectra of Frobenius-normalized layer factors, emphasizing a normalized top-radial Cartan coordinate and fitted power-law chart. Full-rank factors are mapped from $\mathrm{GL}(d)$ to the positive cone by $A\mapsto A^\top A$, then to ordered eigenvalue data. Under Frobenius normalization, exact power-law spectra form a trace-normalized Cartan orbit. This orbit is a Gibbs family on ranks, a Fisher information line, and a Bures--Wasserstein curve with line element $d/4$ times Fisher information. The main rigidity theorem is a slack-aware margin inequality: interface radial amplitude, non-backtracking slack, and signed residual variation control displacement of the fitted Cartan coordinate. In the exact-chart zero-slack case, a depth-$L$ budget gives exponent drift of order $(\log M)/L$; generally, slack and residual increments augment the bound. We separate scalar top-radial from full-Cartan spectral control, which also needs Bures/Hellinger residual variation. We prove approximate-power-law and metric-chart versions, converse lower bounds, Fisher--KL/Bures action estimates, and near-identity expansions for normalized residual chains. Near-identity results verify transport budgets; chart quality remains measurable. Effective rank is a spectral-energy quantile, giving finite-width power-law tail bounds and robust rank-window transition estimates. Empirical static-weight exponent profiles serve as diagnostics; full verification also requires interface budgets, slacks, and residuals for the same operator chain.
• Abstract（参考訳）: 深い残留アーキテクチャは、ほぼ同一のヤコビアンの産物としてモデル化されている。 本稿では,フロベニウス正規化層要素の特異スペクトルに対する決定論的商-幾何学的推定を証明し,正規化トップラジアルカルタン座標と適応パワー-ローチャートを強調した。 フルランク因子は、$\mathrm{GL}(d)$から$A\mapsto A^\top A$によって正の錐にマッピングされ、次に順序付けられた固有値データにマップされる。 フロベニウスの正規化の下では、正確なパワーロースペクトルがトレース正規化カルタン軌道を形成する。 この軌道は、位数上のギブズ族、フィッシャー情報線、およびライン要素が$d/4$のフィッシャー情報を持つビュール=ヴァッサーシュタイン曲線である。 主剛性定理はスラック・アウェア・マージンの不等式である: 界面半径振幅、非バックトラックスラック、および符号付きカルタン座標の残差変動制御変位である。 正確にチャートされたゼロ・スラックの場合、深さ$L$の予算で位数$(\log M)/L$の指数的ドリフトが与えられる。 我々はスカラートップラジアルをフルカータンスペクトル制御から分離し、バーレス/ヘリンジャー残差も必要とする。 正規化残鎖に対する近似パワーローおよび計量チャートバージョン、逆下界、フィッシャー--KL/バーズ作用推定、およびほぼ同一性拡張を証明した。 ほぼ同一の結果は輸送予算を検証し、チャートの品質は測定可能である。 有効ランクはスペクトルエネルギーの量子化であり、有限幅のパワー・ロー・テール境界とロバストなランク・ウインドウ遷移推定を与える。 実証的な静的重み付き指数プロファイルは診断として機能し、完全な検証にはインターフェースの予算、スラックス、同じオペレータチェーンの残差も必要である。

関連論文リスト

• Minimax Optimality and Spectral Routing for Majority-Vote Ensembles under Markov Dependence [6.908972852063454]
  主要声楽アンサンブルは、多種多様なほぼ独立した基礎学習者に対して平均化することにより、ばらつきの低減を実現する。 固定次元マルコフ集合における離散的な分類のために、この現象のミニマックス的特徴付けを行う。 合成マルコフ連鎖、2次元空間格子、128データセットのUCRアーカイブ、アタリDQNアンサンブルに関する実験は、理論的な予測を検証している。
  論文  参考訳（メタデータ） (2026-04-15T02:32:30Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Singular Bayesian Neural Networks [1.2891210250935148]
  ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。 我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。 複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
  論文  参考訳（メタデータ） (2026-01-30T23:06:34Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Bi-stochastically normalized graph Laplacian: convergence to manifold Laplacian and robustness to outlier noise [10.418647759223965]
  双確率正規化 (bi-stochastic normalization) はグラフベースのデータ解析においてグラフラプラシアンの代替正規化を提供する。 両階層正規化グラフ Laplacian から (重み付き) Laplacian への収束を速度で証明する。 多様体データが外乱ノイズによって破損した場合、理論的にはラプラシア点の整合性を証明する。
  論文  参考訳（メタデータ） (2022-06-22T21:08:24Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。