論文の概要: Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training

• arxiv url: http://arxiv.org/abs/2605.29494v1
• Date: Thu, 28 May 2026 07:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.936502
• Title: Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training
• Title（参考訳）: グラディエント摂動:適応学習のための摂動学習
• Authors: Hua Li,
• Abstract要約: 勾配の摂動は 体系的な調査がほとんどありません 本稿では,クラスレベルでのロジトレベルの勾配を適応的に摂動し,カテゴリ認識学習を実現するLPG(Learning to Perturb Gradients)を提案する。 バランスの取れた分類、長い尾の分類、ノイズの多いラベル学習の実験では、LPGは既存の手法よりも一貫して優れており、プラグインモジュールとして組み合わせることができる。
• 参考スコア（独自算出の注目度）: 3.2608238154676843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network training involves both forward propagation (from features through logits to loss) and backward propagation (from loss through gradients to parameter updates). While perturbations along the forward chain, including feature perturbation, logit perturbation, and label perturbation, have been extensively studied, the backward chain's gradient perturbation has received little systematic investigation. In this paper, we establish a unified framework for gradient perturbation, revealing that existing methods such as Sharpness-Aware Minimization (SAM), gradient clipping, and gradient noise injection can all be interpreted as imposing specific forms of gradient perturbation. Analogous to the recently proposed Logit Perturbation Learning (LPL), we conjecture that amplifying the gradient norm for a class acts as positive augmentation (enhancing learning), while dampening it acts as negative augmentation (suppressing overfitting). Based on these observations, we propose Learning to Perturb Gradients (LPG), which adaptively perturbs logit-level gradients at the class level to achieve category-aware training. We also establish theoretical connections between gradient perturbation bounds and generalization guarantees via PAC-Bayesian analysis. Experiments on balanced classification, long-tail classification, and noisy label learning demonstrate that LPG consistently outperforms existing methods and can be combined with them as a plug-in module.
• Abstract（参考訳）: ディープニューラルネットワークトレーニングには、前方伝播(ロジットから損失まで)と後方伝播(勾配からパラメータ更新まで)の両方が含まれる。 前方鎖に沿った摂動(特徴摂動、対流摂動、ラベル摂動など)は広く研究されているが、後方鎖の勾配摂動は系統的な研究はほとんど行われていない。 本稿では,勾配摂動の統一的な枠組みを確立し,シャープネス・アウェア最小化(SAM)や勾配クリッピング,勾配雑音注入といった既存の手法が,勾配摂動の特定の形態を示唆するものとして解釈できることを明らかにする。 最近提案されたLogit Perturbation Learning (LPL) に類似して、クラスにおける勾配ノルムの増幅は、正の増進(学習の促進)として作用する一方、減衰は負の増進(オーバーフィッティングの抑制)として作用する、と推測する。 これらの観測に基づいて,クラスレベルでのロジトレベルの勾配を適応的に摂動し,カテゴリ認識学習を実現するためのLearning to Perturb Gradients (LPG)を提案する。 また、勾配摂動境界と一般化保証との理論的関係をPAC-ベイズ解析により確立する。 バランスの取れた分類、ロングテール分類、ノイズラベル学習の実験は、LPGが既存の手法より一貫して優れており、プラグインモジュールとして組み合わせることができることを示した。

関連論文リスト

• SURGE: Surrogate Gradient Adaptation in Binary Neural Networks [41.424349870612716]
  SURGE(SURrogate GradiEnt Adaptation)は,理論的な基礎を持つ学習可能な勾配補償フレームワークである。 SURGEは補助的なバックプロパゲーションを通じて勾配ミスマッチを緩和する。 画像分類、オブジェクト検出、言語理解タスクの実験は、SURGEが最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-09T09:52:38Z)
• The Devil Is in Gradient Entanglement: Energy-Aware Gradient Coordinator for Robust Generalized Category Discovery [76.35318747478522]
  Energy-Aware Gradient Coordinator (EAGC) は、最適化プロセスを明示的に制御するプラグイン・アンド・プレイの勾配モジュールである。 EAGCはAnchor-based Gradient Alignment (AGA)とEnergy-Aware Elastic Projection (EEP)の2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2026-03-25T14:58:42Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion [13.764770382623812]
  フェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。 摂動抵抗性勾配漏洩攻撃であるMjolnirを導入する。 Mjolnirは、オリジナルのモデル構造や外部データへのアクセスを必要とせずに、勾配から摂動を取り除くことができる。
  論文  参考訳（メタデータ） (2024-07-07T07:06:49Z)
• A Learning Paradigm for Interpretable Gradients [9.074325843851726]
  本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
  論文  参考訳（メタデータ） (2024-04-23T13:32:29Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。