論文の概要: SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training

• arxiv url: http://arxiv.org/abs/2605.27541v1
• Date: Tue, 26 May 2026 18:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.398352
• Title: SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training
• Title（参考訳）: スパースオープト:スパーストレーニングにおける正規化によるグラディエントスキューの対応
• Authors: Mohammed Adnan, Rohan Jain, Tom Jacobs, Ekansh Sharma, Rahul G. Krishnan, Rebekka Burkholz, Yani Ioannou,
• Abstract要約: 動的スパーストレーニング(DST)手法は、ネットワークトポロジを動的に適応しながら、疎性を維持してニューラルネットワークを訓練する。 本稿では, Batch Normalization (BN) がスパーストレーニングに悪影響を及ぼし, SparseOpt を提案する。
• 参考スコア（独自算出の注目度）: 30.444606429625377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Sparse Training (DST) methods train neural networks by maintaining sparsity while dynamically adapting the network topology. Despite the promise of reduced computation, DST methods converge significantly slower than dense training, often requiring comparable training time to achieve similar accuracy. We demonstrate both analytically and empirically that Batch Normalization (BN) adversely affects sparse training, and propose SparseOpt, a sparsity-aware optimizer, to address this. Experiments on ResNet models across CIFAR-100 and ImageNet demonstrate consistently faster convergence and improved generalization with our proposed method. Our work highlights the limitations of current normalization layers in sparse training and provides the first systematic study of the interaction between Batch Normalization, sparse layers, and DST, taking a significant step toward making DST practically competitive with dense training.
• Abstract（参考訳）: 動的スパーストレーニング(DST)手法は、ネットワークトポロジを動的に適応しながら、疎性を維持してニューラルネットワークを訓練する。 計算量を減らすという約束にもかかわらず、DST法は密集した訓練よりもかなり遅く収束し、しばしば同様の精度を達成するために同等の訓練時間を必要とする。 本稿では,Batch Normalization(BN)がスパーストレーニングに悪影響を及ぼすことを解析的および実証的に示すとともに,スパースオプティマイザであるSparseOptを提案する。 CIFAR-100 と ImageNet を用いた ResNet モデル実験により,より高速な収束と,提案手法による一般化が向上した。 我々の研究は、スパーストレーニングにおける現在の正規化レイヤーの限界を強調し、バッチ正規化、スパースレイヤー、DST間の相互作用に関する最初の体系的研究を行い、DSTを高密度トレーニングと現実的に競合させるための重要な一歩を踏み出した。

関連論文リスト

• Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks [9.96381061452642]
  Low-Rank Adaptation (LoRA) と ReLoRA は低ランク構造で課題に直面している。 予備学習におけるメモリ使用量の最適化を目的としたスパーススペクトルトレーニング(SST)を提案する。 SSTは、他の低ランクメソッドとフルランクトレーニングの間の難易度ギャップを97.4%削減する。
  論文  参考訳（メタデータ） (2024-05-24T11:59:41Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
  ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。 オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
  論文  参考訳（メタデータ） (2023-05-03T17:48:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Do We Actually Need Dense Over-Parameterization? In-Time Over-Parameterization in Sparse Training [16.81321230135317]
  スパーストレーニングにおけるITOP(In-Time Over-Resibilityization)の概念を提案する。 ITOPはスパーストレーニングと密集トレーニングのギャップを埋めます。 本稿では,我々の予想を裏付け,最先端のスパーストレーニング性能を達成するための一連の実験について述べる。
  論文  参考訳（メタデータ） (2021-02-04T20:59:31Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。