論文の概要: Dynamic Spectral Backpropagation for Efficient Neural Network Training

• arxiv url: http://arxiv.org/abs/2505.23369v1
• Date: Thu, 29 May 2025 11:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.838926
• Title: Dynamic Spectral Backpropagation for Efficient Neural Network Training
• Title（参考訳）: 効率的なニューラルネットワークトレーニングのための動的スペクトルバックプロパゲーション
• Authors: Mannmohan Muthuraman,
• Abstract要約: 動的スペクトルバックプロパゲーション(DSBP)は、主固有ベクトルに勾配を投影することで、リソース制約下でのニューラルネットワークトレーニングを強化する。 堅牢性、少人数の学習、ハードウェア効率の課題に対処する5つの拡張が提案されている。 DSBP は CIFAR 10, Fashion MNIST, MedMNIST, Tiny ImageNet 上で Sharpness Aware Minimization (SAM), Low Rank Adaptation (LoRA), Model Agnostic Meta Learning (MAML) より優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic Spectral Backpropagation (DSBP) enhances neural network training under resource constraints by projecting gradients onto principal eigenvectors, reducing complexity and promoting flat minima. Five extensions are proposed, dynamic spectral inference, spectral architecture optimization, spectral meta learning, spectral transfer regularization, and Lie algebra inspired dynamics, to address challenges in robustness, fewshot learning, and hardware efficiency. Supported by a third order stochastic differential equation (SDE) and a PAC Bayes limit, DSBP outperforms Sharpness Aware Minimization (SAM), Low Rank Adaptation (LoRA), and Model Agnostic Meta Learning (MAML) on CIFAR 10, Fashion MNIST, MedMNIST, and Tiny ImageNet, as demonstrated through extensive experiments and visualizations. Future work focuses on scalability, bias mitigation, and ethical considerations.
• Abstract（参考訳）: 動的スペクトルバックプロパゲーション(DSBP)は、主固有ベクトルに勾配を投影し、複雑さを減らし、フラットなミニマを促進することで、リソース制約下でのニューラルネットワークトレーニングを強化する。 動的スペクトル推論、スペクトルアーキテクチャ最適化、スペクトルメタラーニング、スペクトル伝達正則化、およびリー代数にインスパイアされた5つの拡張が提案され、堅牢性、少ショット学習、ハードウェア効率の課題に対処している。 3次確率微分方程式(SDE)とPACベイズ極限(PAC Bayes limit)によって支援され、DSBPはCIFAR 10、Fashion MNIST、MedMNIST、Tiny ImageNetのシャープネス認識最小化(SAM)、ローランク適応(LoRA)、モデルアグノスティックメタラーニング(MAML)より優れており、広範な実験と視覚化を通じて実証されている。 今後の研究はスケーラビリティ、バイアス緩和、倫理的考察に重点を置いている。

関連論文リスト

• Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• An Overview of Low-Rank Structures in the Training and Adaptation of Large Models [52.67110072923365]
  近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
  論文  参考訳（メタデータ） (2025-03-25T17:26:09Z)
• ResKoopNet: Learning Koopman Representations for Complex Dynamics with Spectral Residuals [1.8570740863168362]
  高次元力学系のスペクトル成分を近似する方法は理論上の限界に直面していることが多い。 本稿では,コオプマン固有ペアを計算するために,スペクトル残差を明示的に最小化するResKoopNetを紹介する。 様々な物理的および生物学的システムの実験により、ResKoopNetは既存の方法よりも正確なスペクトル近似を達成している。
  論文  参考訳（メタデータ） (2025-01-01T02:19:42Z)
• Approaching Deep Learning through the Spectral Dynamics of Weights [41.948042468042374]
  重みのスペクトル力学 -- 最適化中の特異値とベクトルの振る舞い -- は、ディープラーニングにおけるいくつかの現象を明確にし、統一する。 ConvNetによる画像分類,UNetsによる画像生成,LSTMによる音声認識,Transformersによる言語モデリングなど,さまざまな実験における最適化における一貫したバイアスを同定する。
  論文  参考訳（メタデータ） (2024-08-21T17:48:01Z)
• Mitigating spectral bias for the multiscale operator learning [14.404769413313371]
  本稿では階層的行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。 HANOは、スケール適応的な相互作用範囲とレベル階層上の自己アテンションを備えており、制御可能な線形コストでネストされた特徴計算を可能にする。 我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-19T21:09:29Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。