論文の概要: Optimized Gradient Clipping for Noisy Label Learning

• arxiv url: http://arxiv.org/abs/2412.08941v4
• Date: Sun, 22 Dec 2024 13:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 12:13:09.110834
• Title: Optimized Gradient Clipping for Noisy Label Learning
• Title（参考訳）: 雑音ラベル学習のための最適勾配クリッピング
• Authors: Xichen Ye, Yifan Wu, Weizhong Zhang, Xiaoqiang Li, Yifan Chen, Cheng Jin,
• Abstract要約: 我々はOGC(Optimized Gradient Clipping)と呼ばれるシンプルだが効果的なアプローチを提案する。 OGCは、クリッピング後のクリーン勾配に対するノイズ勾配の比に基づいて、クリッピング閾値を動的に調整する。 実験は, 対称, 非対称, インスタンス依存, 実世界の雑音など, 様々な種類のラベルノイズにまたがって, OGCの有効性を実証した。
• 参考スコア（独自算出の注目度）: 26.463965846251938
• License:
• Abstract: Previous research has shown that constraining the gradient of loss function with respect to model-predicted probabilities can enhance the model robustness against noisy labels. These methods typically specify a fixed optimal threshold for gradient clipping through validation data to obtain the desired robustness against noise. However, this common practice overlooks the dynamic distribution of gradients from both clean and noisy-labeled samples at different stages of training, significantly limiting the model capability to adapt to the variable nature of gradients throughout the training process. To address this issue, we propose a simple yet effective approach called Optimized Gradient Clipping (OGC), which dynamically adjusts the clipping threshold based on the ratio of noise gradients to clean gradients after clipping, estimated by modeling the distributions of clean and noisy samples. This approach allows us to modify the clipping threshold at each training step, effectively controlling the influence of noise gradients. Additionally, we provide statistical analysis to certify the noise-tolerance ability of OGC. Our extensive experiments across various types of label noise, including symmetric, asymmetric, instance-dependent, and real-world noise, demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 従来の研究では、モデル予測確率に対する損失関数の勾配の制約は、ノイズラベルに対するモデルロバスト性を高めることが示されている。 これらの手法は通常、ノイズに対する所望のロバスト性を得るために、バリデーションデータによる勾配クリッピングのための固定された最適しきい値を指定する。 しかし、この一般的なプラクティスは、トレーニングの異なる段階におけるクリーンなサンプルとノイズの多いサンプルの両方からの勾配の動的分布を見落とし、トレーニングプロセス全体を通して勾配の変動特性に適応するモデル能力を著しく制限している。 この問題に対処するために、クリーンでノイズの多いサンプルの分布をモデル化し、ノイズ勾配とクリッピング後のクリーン勾配との比に基づいてクリッピング閾値を動的に調整する、Optimized Gradient Clipping (OGC) というシンプルなアプローチを提案する。 提案手法により,各トレーニングステップにおけるクリッピング閾値の修正が可能となり,ノイズ勾配の影響を効果的に制御できる。 さらに,OGCの耐雑音性を証明するための統計的解析を行った。 本研究は, 対称, 非対称, インスタンス依存, 実世界の雑音など, 様々な種類のラベルノイズに対する広範な実験を行い, 提案手法の有効性を実証した。

関連論文リスト

• Rethinking the Principle of Gradient Smooth Methods in Model Explanation [2.6819730646697972]
  グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:24:27Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Instance-dependent Noisy-label Learning with Graphical Model Based Noise-rate Estimation [16.283722126438125]
  ラベルノイズ学習(LNL)は、クリーンでノイズの多いラベルサンプルを区別するためにサンプル選択段階を組み込む。 このようなカリキュラムは、トレーニングセットの実際のラベルノイズ率を考慮していないため、準最適である。 本稿では,ほとんどのSOTA (State-of-the-art) LNL法と容易に統合できる新しいノイズレート推定法を用いて,この問題に対処する。
  論文  参考訳（メタデータ） (2023-05-31T01:46:14Z)
• Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
  本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。 プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。 本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T21:39:27Z)
• Per-Example Gradient Regularization Improves Learning Signals from Noisy Data [25.646054298195434]
  実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
  論文  参考訳（メタデータ） (2023-03-31T10:08:23Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。