論文の概要: Per-Example Gradient Regularization Improves Learning Signals from Noisy Data

• arxiv url: http://arxiv.org/abs/2303.17940v1
• Date: Fri, 31 Mar 2023 10:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 14:32:54.720470
• Title: Per-Example Gradient Regularization Improves Learning Signals from Noisy Data
• Title（参考訳）: 雑音データからの学習信号を改善するサンプルごとの勾配正規化
• Authors: Xuran Meng, Yuan Cao and Difan Zou
• Abstract要約: 実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
• 参考スコア（独自算出の注目度）: 25.646054298195434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient regularization, as described in \citet{barrett2021implicit}, is a highly effective technique for promoting flat minima during gradient descent. Empirical evidence suggests that this regularization technique can significantly enhance the robustness of deep learning models against noisy perturbations, while also reducing test error. In this paper, we explore the per-example gradient regularization (PEGR) and present a theoretical analysis that demonstrates its effectiveness in improving both test error and robustness against noise perturbations. Specifically, we adopt a signal-noise data model from \citet{cao2022benign} and show that PEGR can learn signals effectively while suppressing noise. In contrast, standard gradient descent struggles to distinguish the signal from the noise, leading to suboptimal generalization performance. Our analysis reveals that PEGR penalizes the variance of pattern learning, thus effectively suppressing the memorization of noises from the training data. These findings underscore the importance of variance control in deep learning training and offer useful insights for developing more effective training approaches.
• Abstract（参考訳）: グラディエント正規化(Gradient regularization)は、勾配降下時に平坦なミニマを促進させる非常に効果的な手法である。 実験的な証拠は、この正規化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上し、テストエラーを低減できることを示している。 本稿では,PEGR(per-example gradient regularization)について検討し,騒音摂動に対する試験誤差とロバスト性の両方の改善効果を示す理論的解析を行った。 具体的には、信号-雑音データモデルを用いて、pegrがノイズを抑圧しながら効果的に信号を学ぶことができることを示す。 対照的に、標準勾配降下は信号とノイズの区別に苦慮し、最適下界一般化性能をもたらす。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。 これらの知見は、ディープラーニングトレーニングにおける分散制御の重要性を強調し、より効果的なトレーニングアプローチを開発する上で有用な洞察を提供する。

関連論文リスト

• Optimized Gradient Clipping for Noisy Label Learning [26.463965846251938]
  我々はOGC(Optimized Gradient Clipping)と呼ばれるシンプルだが効果的なアプローチを提案する。 OGCは、クリッピング後のクリーン勾配に対するノイズ勾配の比に基づいて、クリッピング閾値を動的に調整する。 実験は, 対称, 非対称, インスタンス依存, 実世界の雑音など, 様々な種類のラベルノイズにまたがって, OGCの有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-12T05:08:05Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise [2.048226951354646]
  本稿では,チェックポイントからのリセットにより,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。 ノイズの多いラベルが存在する場合、DNNはまずデータの一般的なパターンを学習するが、徐々に破損したデータを記憶し、過度に適合する。 勾配降下(SGD)のダイナミクスを分解することにより,雑音ラベルによる遅延勾配バイアスの挙動を同定し,一般化を損なう。
  論文  参考訳（メタデータ） (2024-06-01T10:45:41Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
  磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。 重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
  論文  参考訳（メタデータ） (2024-02-12T12:50:10Z)
• Boosting of Implicit Neural Representation-based Image Denoiser [2.2452191187045383]
  Inlicit Neural Representation (INR) は、教師なし画像復調の有効な方法として登場した。 本稿では,画像認知におけるINRモデルの正規化のための一般的なレシピを提案する。
  論文  参考訳（メタデータ） (2024-01-03T05:51:25Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization [27.039672355700198]
  本稿では,クロスエントロピーに基づくトレーニングデータにおいて,過度に類似したセグメントを創り出す戦略を提案する。 我々はノイズの多いサンプルを生成し、KLの発散に基づくスムーズネス誘導正則化を適用し、オーバーフィッティングを緩和する。
  論文  参考訳（メタデータ） (2023-04-24T08:30:41Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。