論文の概要: Unpacking the Implicit Norm Dynamics of Sharpness-Aware Minimization in Tensorized Models

• arxiv url: http://arxiv.org/abs/2508.10435v1
• Date: Thu, 14 Aug 2025 08:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.229357
• Title: Unpacking the Implicit Norm Dynamics of Sharpness-Aware Minimization in Tensorized Models
• Title（参考訳）: テンソル化モデルにおけるシャープネスを考慮した最小化のインシシットノルムダイナミクスの解法
• Authors: Tianxiao Cao, Kyohei Atarashi, Hisashi Kashima,
• Abstract要約: 一般的なテンソル化モデルにおけるシャープネス・アウェア最小化(SAM)のノルムダイナミクスを解析する。 SAMのノルム偏差の暗黙的な制御は、コアノルムとその勾配等級の共分散によって制御されていることを示す。 そこで本研究では,データ適応方式でコアノルムをスケーリングすることで,この正規化動作を明示的に模倣する,シンプルで効果的な手法であるemphDeviation-Aware Scaling(DAS)を提案する。
• 参考スコア（独自算出の注目度）: 21.52081811249999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) has been proven to be an effective optimization technique for improving generalization in overparameterized models. While prior works have explored the implicit regularization of SAM in simple two-core scale-invariant settings, its behavior in more general tensorized or scale-invariant models remains underexplored. In this work, we leverage scale-invariance to analyze the norm dynamics of SAM in general tensorized models. We introduce the notion of \emph{Norm Deviation} as a global measure of core norm imbalance, and derive its evolution under SAM using gradient flow analysis. We show that SAM's implicit control of Norm Deviation is governed by the covariance between core norms and their gradient magnitudes. Motivated by these findings, we propose a simple yet effective method, \emph{Deviation-Aware Scaling (DAS)}, which explicitly mimics this regularization behavior by scaling core norms in a data-adaptive manner. Our experiments across tensor completion, noisy training, model compression, and parameter-efficient fine-tuning confirm that DAS achieves competitive or improved performance over SAM, while offering reduced computational overhead.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)は、過パラメータ化モデルの一般化を改善する効果的な最適化手法であることが証明されている。 従来の研究では、単純な2コアのスケール不変な設定でSAMの暗黙的な正規化を探索してきたが、より一般的なテンソル化モデルやスケール不変モデルの振る舞いはいまだ探索されていない。 本研究ではスケール不変性を利用してSAMの一般的なテンソル化モデルにおけるノルムダイナミクスを解析する。 コアノルム不均衡の大域的尺度として \emph{Norm Deviation} の概念を導入し、勾配流解析を用いてSAMの下での進化を導出する。 SAMのノルム偏差の暗黙的な制御は、コアノルムとその勾配等級の共分散によって制御されていることを示す。 これらの知見に触発されて,データ適応方式でコアノルムをスケーリングすることで,この正規化動作を明示的に模倣する,単純かつ効果的な手法である<emph{Deviation-Aware Scaling (DAS) を提案する。 テンソル補修,ノイズ学習,モデル圧縮,パラメータ効率の微調整による実験により,DASはSAMよりも競争性や性能の向上を実現し,計算オーバーヘッドの低減を実現した。

関連論文リスト

• Layer-wise Adaptive Gradient Norm Penalizing Method for Efficient and Accurate Deep Learning [7.6677237955415]
  シャープネス認識最小化(SAM)は、ニューラルネットワークの一般化性能を改善するために知られている。 SAMは、高価なモデル摂動コストのため、現実世界のアプリケーションではまだ広く使われていない。 本稿では,SAMの高コストな計算コストに対処しつつ,より優れた一般化性能を維持しつつ,軽量な層次勾配法則のペナル化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T12:30:57Z)
• Sharpness-Aware Minimization: General Analysis and Improved Rates [10.11126899274029]
  Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化を改善する強力な方法として登場した。 本稿では,SAMとその非正規化変動規則(USAM)を1回の更新で解析する。 我々は、より自然に緩和された仮定の下で、新しいサイズの結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T03:04:06Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [41.50816120270017]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks [4.877624278656814]
  Sharpness-Aware Minimization (SAM) は機械学習タスクにおけるモデル一般化の改善に極めて有効であることが証明されている。 本稿では,適応正規化パラメータを動的に更新するフレキシブルなシャープネス比ルールを導入するSAM with Adaptive Regularization (SAMAR)を提案する。
  論文  参考訳（メタデータ） (2024-12-22T04:40:02Z)
• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  異常セグメンテーションのための textbfSelf-textbfPerceptinon textbfTuning (textbfSPT) 法を提案する。 SPT法は, 自己描画型チューニング戦略を取り入れ, 異常マスクの初期粗いドラフトを生成し, 精製処理を行う。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• Critical Influence of Overparameterization on Sharpness-aware Minimization [12.321517302762558]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークトレーニングにおける一般化を改善する効果において、かなりの注目を集めている。 この研究は、SAMの有効性に重要な影響を示す経験的および理論的知見の両方を提示する。
  論文  参考訳（メタデータ） (2023-11-29T11:19:50Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。