論文の概要: Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning

• arxiv url: http://arxiv.org/abs/2605.07914v1
• Date: Fri, 08 May 2026 15:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.17819
• Title: Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning
• Title（参考訳）: フラットネスとグラディエントアライメントはどちらも必要である:マルチディストリビューション学習のためのスペクトル認識グラディエントアライメント探索
• Authors: Aristotelis Ballas, Christos Diou,
• Abstract要約: マルチディストリビューション・ラーニング・セッティングにおいて,平坦性と勾配のアライメントを考慮すべきであることを示す。 両用語を対象とするSAGE(Spectral-Aware Gradient-Aligned Exploration)を提案する。 5つの領域一般化と2つのマルチタスク学習ベンチマーク実験により,提案手法が新たな最先端技術を確立することを示す。
• 参考スコア（独自算出の注目度）: 7.794885131732119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware and gradient-alignment methods have been shown to improve generalization, however each family of methods targets a single geometric property of the loss landscape, while ignoring the other. In this paper, we show that this omission is structurally unavoidable and that both flatness and gradient alignment should be considered in multi-distribution learning settings. Specifically, we derive an excess-risk decomposition that yields two additive leading-order terms: (i) an alignment term, controlled by the trace of $\bar{H}^{-1}Σ_g$ and (ii) a curvature term, controlled by $\bar{H}$, where $\bar{H}$ is the average Hessian and $Σ_g$ is the covariance of the gradient across distributions. Notably, $\bar{H}$ appears inverted in one and non-inverted in the other. We further show, via a counterexample, that neither quantity bounds the other in general, so no algorithm targeting only one term can guarantee low excess risk. Motivated by this decomposition, we propose SAGE (Spectral-Aware Gradient-Aligned Exploration) that targets both terms. The curvature component replaces SAM's gradient-scaled perturbation with the polar factor of each layer's gradient matrix, computed via Newton-Schulz iteration, so that the ascent step probes all directions with similar magnitude. On the other hand, the alignment component injects isotropic noise at the descent step, the magnitude of which scales with cross-distribution gradient disagreement. Experiments on five domain-generalization and two multi-task learning benchmarks show that the proposed method establishes a new state-of-the-art on DomainBed and acts as a general-purpose improvement to base MTL solvers, remaining competitive with, or even surpassing, state-of-the-art methods.
• Abstract（参考訳）: シャープネスアウェア法と勾配アライメント法は一般化を改善することが示されているが、それぞれの手法は損失ランドスケープの1つの幾何学的性質を目標とし、他方を無視している。 本稿では,この欠落は構造的に避けられず,多分散学習環境では平坦性と勾配の整合性の両方を考慮するべきであることを示す。 具体的には、2つの加法的前順序項を生じる余剰リスク分解を導出する。 (i)$\bar{H}^{-1}Σ_g$、および$\bar{H}^{-1}Σ_g$のトレースによって制御されるアライメント用語 (ii) 曲率項は$\bar{H}$で制御され、$\bar{H}$ は平均 Hessian であり、$Σ_g$ は分布間の勾配の共分散である。 特に、$\bar{H}$ は 1 で逆転し、もう1 では非逆転する。 さらに、反例を通して、一方の項のみを対象とするアルゴリズムは、余剰リスクが低いことを保証できない。 両項を対象とするSAGE(Spectral-Aware Gradient-Aligned Exploration)を提案する。 曲率成分はSAMの勾配スケールの摂動をニュートン・シュルツの反復によって計算された各層の勾配行列の極係数に置き換える。 一方、アライメント成分は降下段において等方性ノイズを注入し、その大きさは分配勾配不一致でスケールする。 5つのドメイン一般化と2つのマルチタスク学習ベンチマークの実験により、提案手法はDomainBed上で新しい最先端技術を確立し、ベースMTLソルバの汎用的改善として機能し、最先端の手法に競争力を維持したり、超越したりする。

関連論文リスト

• Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
  本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。 本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
  論文  参考訳（メタデータ） (2025-06-02T17:34:29Z)
• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
  分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。 本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。 総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-02-09T02:44:24Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。