Fugu-MT 論文翻訳(概要): Sparse Training of Neural Networks based on Multilevel Mirror Descent

論文の概要: Sparse Training of Neural Networks based on Multilevel Mirror Descent

arxiv url: http://arxiv.org/abs/2602.03535v1
Date: Tue, 03 Feb 2026 13:51:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-04 18:37:15.480916
Title: Sparse Training of Neural Networks based on Multilevel Mirror Descent
Title（参考訳）: 多レベルミラーDescentに基づくニューラルネットワークのスパーストレーニング
Abstract要約: 本稿では,線形化されたブレグマン反復/ミラー降下に基づく動的スパーストレーニングアルゴリズムを提案する。実験により,我々のアルゴリズムは標準ベンチマーク上で高度にスパースで正確なモデルを生成することができることを示す。
参考スコア（独自算出の注目度）: 0.688204255655161
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a dynamic sparse training algorithm based on linearized Bregman iterations / mirror descent that exploits the naturally incurred sparsity by alternating between periods of static and dynamic sparsity pattern updates. The key idea is to combine sparsity-inducing Bregman iterations with adaptive freezing of the network structure to enable efficient exploration of the sparse parameter space while maintaining sparsity. We provide convergence guaranties by embedding our method in a multilevel optimization framework. Furthermore, we empirically show that our algorithm can produce highly sparse and accurate models on standard benchmarks. We also show that the theoretical number of FLOPs compared to SGD training can be reduced from 38% for standard Bregman iterations to 6% for our method while maintaining test accuracy.
Abstract（参考訳）: 本稿では,線形化Bregman反復/ミラー降下に基づく動的スパーストレーニングアルゴリズムを提案する。鍵となる考え方は、疎度を誘導するブレグマン反復と適応的なネットワーク構造の凍結を組み合わせることで、疎度を維持しながらスパースパラメータ空間の効率的な探索を可能にすることである。多レベル最適化フレームワークにメソッドを埋め込むことにより収束保証を提供する。さらに,本アルゴリズムが標準ベンチマーク上で,高度にスパースかつ高精度なモデルを生成することを実証的に示す。また,SGDトレーニングと比較したFLOPの理論的数は,標準的なBregmanイテレーションの38%から,テスト精度を維持しながら6%に削減できることを示した。

関連論文リスト

SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training [30.444606429625377]
動的スパーストレーニング(DST)手法は、ネットワークトポロジを動的に適応しながら、疎性を維持してニューラルネットワークを訓練する。本稿では, Batch Normalization (BN) がスパーストレーニングに悪影響を及ぼし, SparseOpt を提案する。
論文参考訳（メタデータ） (2026-05-26T18:14:19Z)
Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers [14.98763942493771]
本稿では,モデルの現在の空間とターゲット空間との差に基づいて$$を更新する適応正規化手法を提案する。提案手法は,75%から99%の範囲の空間的目標を確実に達成する。初期のトレーニングでは、オラクルで調整された非適応ベースラインよりも早く収束し、同じエラー率で最終的なパフォーマンスを達成または上回っている。
論文参考訳（メタデータ） (2026-05-08T15:37:24Z)
SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention [19.076502375242352]
本稿では,モデル精度とシステム効率を協調的に最適化するために,スパース性とシーケンスの不均一性を利用するSparseBalanceを提案する。まず,自由度に固有のトラグラーを除去するために,双方向のスペーサ性調整を利用するワークロード対応動的スペーサ性チューニングを提案する。第二に、粗粒度スペーサ性チューニングを実現するためのスパーティアウェア戦略を提案する。これは、LongBenchベンチマークでは、長いコンテキスト能力を0.46%改善しつつ、スパースを最大1.33$times$ end-to-endのスピードアップに活用する。
論文参考訳（メタデータ） (2026-04-15T13:18:07Z)
Linearized Bregman Iterations for Sparse Spiking Neural Networks [0.1274452325287335]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の良い代替手段を提供するこの研究は、SNNのトレーニングの最適化としてLBI(Linearized Bregman Iterations)を導入している。収束と一般化を改善するために、AdaBregeration(AdaBregeration)を用いる。
論文参考訳（メタデータ） (2026-03-17T12:48:31Z)
ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文参考訳（メタデータ） (2026-02-07T10:19:36Z)
Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文参考訳（メタデータ） (2025-07-11T08:00:47Z)
Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum [7.136205674624814]
LS-based Hyperpruning (LSH) と呼ばれる効率的なハイパープルニングフレームワークを導入する。 LSベースのHyperpruningは、フルトレーニングに依存する従来のアプローチに比べて、検索時間を桁違いに削減する。
論文参考訳（メタデータ） (2025-06-09T17:49:29Z)
Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文参考訳（メタデータ） (2025-05-21T07:16:44Z)
Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [32.918269107547616]
ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
論文参考訳（メタデータ） (2024-11-20T18:54:53Z)
Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用せずに機能するディープニューラルネットワークのユニット・レイヤ・プルーニングとレイヤ・プルーニングを組み合わせた新しいアルゴリズムを提案する。本アルゴリズムは, 学習精度とプルーニングレベルを最適に交換し, ユニットプルーニングと計算量とパラメータ複雑性のバランスをとる。提案アルゴリズムは,ネットワークに対応する最適化問題の解に収束することを示す。
論文参考訳（メタデータ） (2024-11-14T02:00:22Z)
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network [9.48424754175943]
本稿では、構造化ニューラルネットワークのトレーニングのための正規化適応モーメントデュアル平均化(RAMDA)を提案する。定常収束点における正則化器によって誘導される理想構造が得られることを示す。この構造は収束点付近で局所的に最適であるため、RAMDAは可能な限り最高の構造が得られることが保証される。
論文参考訳（メタデータ） (2024-03-21T13:43:49Z)
Training Bayesian Neural Networks with Sparse Subspace Variational Inference [35.241207717307645]
Sparse Subspace Variational Inference (SSVI) は、トレーニングと推論フェーズを通じて一貫した高度にスパースなモデルを維持する最初の完全なスパースBNNフレームワークである。実験の結果, SSVIは, スパースBNNの製作に新たなベンチマークを設定し, 例えば, モデルサイズを10～20倍圧縮し, 性能低下を3%以下とし, トレーニング中に最大20倍のFLOPを削減した。
論文参考訳（メタデータ） (2024-02-16T19:15:49Z)
Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-08-03T21:49:14Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
論文参考訳（メタデータ） (2023-05-03T17:48:55Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
A Bregman Learning Framework for Sparse Neural Networks [1.7778609937758323]
Bregmanの反復に基づく学習フレームワークを提案し、スパースニューラルネットワークを訓練する。我々は、運動量を用いた加速版であるLinBregと、AdamアルゴリズムのBregmanized GeneralizationであるAdaBregというベースラインアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-05-10T12:56:01Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。