論文の概要: Per-Example Gradient Regularization Improves Learning Signals from Noisy Data

• arxiv url: http://arxiv.org/abs/2303.17940v1
• Date: Fri, 31 Mar 2023 10:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 14:32:54.720470
• Title: Per-Example Gradient Regularization Improves Learning Signals from Noisy Data
• Title（参考訳）: 雑音データからの学習信号を改善するサンプルごとの勾配正規化
• Authors: Xuran Meng, Yuan Cao and Difan Zou
• Abstract要約: 実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
• 参考スコア（独自算出の注目度）: 25.646054298195434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient regularization, as described in \citet{barrett2021implicit}, is a highly effective technique for promoting flat minima during gradient descent. Empirical evidence suggests that this regularization technique can significantly enhance the robustness of deep learning models against noisy perturbations, while also reducing test error. In this paper, we explore the per-example gradient regularization (PEGR) and present a theoretical analysis that demonstrates its effectiveness in improving both test error and robustness against noise perturbations. Specifically, we adopt a signal-noise data model from \citet{cao2022benign} and show that PEGR can learn signals effectively while suppressing noise. In contrast, standard gradient descent struggles to distinguish the signal from the noise, leading to suboptimal generalization performance. Our analysis reveals that PEGR penalizes the variance of pattern learning, thus effectively suppressing the memorization of noises from the training data. These findings underscore the importance of variance control in deep learning training and offer useful insights for developing more effective training approaches.
• Abstract（参考訳）: グラディエント正規化(Gradient regularization)は、勾配降下時に平坦なミニマを促進させる非常に効果的な手法である。 実験的な証拠は、この正規化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上し、テストエラーを低減できることを示している。 本稿では,PEGR(per-example gradient regularization)について検討し,騒音摂動に対する試験誤差とロバスト性の両方の改善効果を示す理論的解析を行った。 具体的には、信号-雑音データモデルを用いて、pegrがノイズを抑圧しながら効果的に信号を学ぶことができることを示す。 対照的に、標準勾配降下は信号とノイズの区別に苦慮し、最適下界一般化性能をもたらす。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。 これらの知見は、ディープラーニングトレーニングにおける分散制御の重要性を強調し、より効果的なトレーニングアプローチを開発する上で有用な洞察を提供する。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
  磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。 重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
  論文  参考訳（メタデータ） (2024-02-12T12:50:10Z)
• Boosting of Implicit Neural Representation-based Image Denoiser [2.2452191187045383]
  Inlicit Neural Representation (INR) は、教師なし画像復調の有効な方法として登場した。 本稿では,画像認知におけるINRモデルの正規化のための一般的なレシピを提案する。
  論文  参考訳（メタデータ） (2024-01-03T05:51:25Z)
• Analyze the Robustness of Classifiers under Label Noise [5.708964539699851]
  教師付き学習におけるラベルノイズは、誤ったラベルまたは不正確なラベルによって特徴づけられ、モデル性能を著しく損なう。 本研究は, ラベルノイズが実用的応用に与える影響について, ますます関連する問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-12T13:51:25Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization [27.039672355700198]
  本稿では,クロスエントロピーに基づくトレーニングデータにおいて,過度に類似したセグメントを創り出す戦略を提案する。 我々はノイズの多いサンプルを生成し、KLの発散に基づくスムーズネス誘導正則化を適用し、オーバーフィッティングを緩和する。
  論文  参考訳（メタデータ） (2023-04-24T08:30:41Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)
• Learning Sparsity-Promoting Regularizers using Bilevel Optimization [9.18465987536469]
  本稿では,信号や画像の識別のための疎結合型正規化器の教師あり学習法を提案する。 構造化された1D信号と自然画像を用いて実験したところ,提案手法はよく知られた正規化器よりも優れた演算子を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T20:50:02Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。