論文の概要: MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature

• arxiv url: http://arxiv.org/abs/2506.08464v1
• Date: Tue, 10 Jun 2025 05:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.571996
• Title: MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature
• Title（参考訳）: MAC: 平均活性化近似曲率を用いた効率的なグラディエントプレコンディショニング
• Authors: Hyunseok Seung, Jaewoo Lee, Hyunsuk Ko,
• Abstract要約: KFACのようなニューラルネットワークをトレーニングするための2次最適化手法は、損失ランドスケープの曲率情報を活用することにより、優れた収束性を示す。 我々は、KFACで使用される階層式フィッシャー情報行列(FIM)を構成する2つの成分について分析する。 そこで我々は, MAC という計算効率のよい最適化手法を提案する。 我々の知る限り、MACは、トランスフォーマーで使用される注目層のFIMにクロネッカー分解を適用し、注意スコアを事前条件に明示的に統合する最初のアルゴリズムである。
• 参考スコア（独自算出の注目度）: 7.512116180634991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Second-order optimization methods for training neural networks, such as KFAC, exhibit superior convergence by utilizing curvature information of loss landscape. However, it comes at the expense of high computational burden. In this work, we analyze the two components that constitute the layer-wise Fisher information matrix (FIM) used in KFAC: the Kronecker factors related to activations and pre-activation gradients. Based on empirical observations on their eigenspectra, we propose efficient approximations for them, resulting in a computationally efficient optimization method called MAC. To the best of our knowledge, MAC is the first algorithm to apply the Kronecker factorization to the FIM of attention layers used in transformers and explicitly integrate attention scores into the preconditioning. We also study the convergence property of MAC on nonlinear neural networks and provide two conditions under which it converges to global minima. Our extensive evaluations on various network architectures and datasets show that the proposed method outperforms KFAC and other state-of-the-art methods in terms of accuracy, end-to-end training time, and memory usage. Code is available at https://github.com/hseung88/mac.
• Abstract（参考訳）: KFACのようなニューラルネットワークをトレーニングするための2次最適化手法は、損失ランドスケープの曲率情報を活用することにより、優れた収束性を示す。 しかし、これは高い計算負担を犠牲にしている。 本研究は,KFAC で使用される階層式フィッシャー情報行列 (FIM) を構成する2つの成分について解析する。 固有スペクトルに関する経験的観測に基づいて、それらの効率的な近似を提案し、MACと呼ばれる計算効率のよい最適化手法を提案する。 我々の知る限り、MACは、トランスフォーマーで使用される注目層のFIMにクロネッカー分解を適用し、注意スコアを事前条件に明示的に統合する最初のアルゴリズムである。 また、非線形ニューラルネットワーク上でのMACの収束性について検討し、大域最小値に収束する2つの条件を提供する。 各種ネットワークアーキテクチャおよびデータセットに対する広範な評価の結果,提案手法は,精度,エンドツーエンドのトレーニング時間,メモリ使用量において,KFACや他の最先端手法よりも優れていることがわかった。 コードはhttps://github.com/hseung88/mac.comから入手できる。

関連論文リスト

• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [56.805574957824135]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks [3.7308074617637588]
  PINN損失に対するKronecker-factored almost curvature (KFAC)を提案する。 我々のKFACベースの勾配は、小さな問題に対する高価な2階法と競合し、高次元のニューラルネットワークやPDEに好適にスケールし、一階法やLBFGSを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-24T14:36:02Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition [0.0]
  自然勾配降下法は, 通常の勾配降下法よりも効率よく目的関数を最小化できることを示した。 ディープニューラルネットワークのトレーニングにおけるこのアプローチのボトルネックは、各イテレーションでFiher Information Matrix (FIM)に対応する大規模な密度の高い線形システムを解くことの禁止コストにある。 これは、正確なFIMまたは経験的なFIMの様々な近似を動機付けている。 最も洗練されたものは KFAC であり、Kronecker による FIM のブロック対角近似を含む。 わずかな追加費用だけで、精度の観点からのKFACの改良が提案されている。
  論文  参考訳（メタデータ） (2022-01-25T12:56:17Z)
• Riemannian classification of EEG signals with missing values [67.90148548467762]
  本稿では脳波の分類に欠落したデータを扱うための2つの方法を提案する。 第1のアプローチでは、インプットされたデータと$k$-nearestの隣人アルゴリズムとの共分散を推定し、第2のアプローチでは、期待最大化アルゴリズム内で観測データの可能性を活用することにより、観測データに依存する。 その結果, 提案手法は観測データに基づく分類よりも優れており, 欠落したデータ比が増大しても高い精度を維持することができることがわかった。
  論文  参考訳（メタデータ） (2021-10-19T14:24:50Z)
• A Trace-restricted Kronecker-Factored Approximation to Natural Gradient [32.41025119083869]
  我々はTKFAC(Trace-restricted Kronecker-factored Approximate Curvature)と呼ばれるフィッシャー情報行列の新しい近似を提案する。 実験により,提案手法は,いくつかのディープネットワークアーキテクチャ上での最先端のアルゴリズムと比較して性能がよいことが示された。
  論文  参考訳（メタデータ） (2020-11-21T07:47:14Z)
• Two-Level K-FAC Preconditioning for Deep Learning [7.699428789159717]
  ディープラーニングの文脈では、グラディエントDescentの収束を加速するために、多くの最適化手法が勾配共分散情報を使用する。 特に、アダグラード(Adagrad)から始まり、一見無限に現れる研究のラインは、いわゆる経験的フィッシャー行列の対角近似の使用を提唱している。 特に成功した方法はK-FAC(Kronecker-ed block-factored preconditioner)と呼ばれる方法である。
  論文  参考訳（メタデータ） (2020-11-01T17:54:21Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。