論文の概要: Double Descent in Adversarial Training: An Implicit Label Noise Perspective

• arxiv url: http://arxiv.org/abs/2110.03135v1
• Date: Thu, 7 Oct 2021 01:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:13:30.322336
• Title: Double Descent in Adversarial Training: An Implicit Label Noise Perspective
• Title（参考訳）: 逆行訓練における二重発声:無作為なラベルノイズの観点から
• Authors: Chengyu Dong, Liyuan Liu, Jingbo Shang
• Abstract要約: 強靭なオーバーフィッティングは、画期的な二重降下の初期段階と見なされる。 我々はさらに、頑健なオーバーフィッティングをよりよく理解するために、二重降下の解析を進めた。
• 参考スコア（独自算出の注目度）: 27.11328449349065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Here, we show that the robust overfitting shall be viewed as the early part of an epoch-wise double descent -- the robust test error will start to decrease again after training the model for a considerable number of epochs. Inspired by our observations, we further advance the analyses of double descent to understand robust overfitting better. In standard training, double descent has been shown to be a result of label flipping noise. However, this reasoning is not applicable in our setting, since adversarial perturbations are believed not to change the label. Going beyond label flipping noise, we propose to measure the mismatch between the assigned and (unknown) true label distributions, denoted as \emph{implicit label noise}. We show that the traditional labeling of adversarial examples inherited from their clean counterparts will lead to implicit label noise. Towards better labeling, we show that predicted distribution from a classifier, after scaling and interpolation, can provably reduce the implicit label noise under mild assumptions. In light of our analyses, we tailored the training objective accordingly to effectively mitigate the double descent and verified its effectiveness on three benchmark datasets.
• Abstract（参考訳）: ここでは、ロバストなオーバーフィッティングが、エポックな2重降下の初期段階と見なされることを示します -- ロバストなテストエラーは、相当数のエポックに対してモデルをトレーニングした後、再び減少し始めます。 観測結果から着想を得て, 二重降下解析をさらに進め, 強靭なオーバーフィッティングの理解を深めた。 標準訓練では、二重降下はラベルフリップノイズの結果であることが示されている。 しかし, 逆方向の摂動はラベルを変えないと考えられるため, この推論は我々の設定では適用できない。 ラベルフリップノイズを超えて、割り当てられた真のラベル分布と(知られていない)真のラベル分布のミスマッチを測定することを提案する。 本研究は, 従来の正反対例のラベル付けにより, 暗黙のラベルノイズが生じることを示す。 より優れたラベル付けに向けて,分類器からの予測分布は,拡張と補間の後,軽度な仮定の下で暗黙的なラベルノイズを確実に低減できることを示す。 そこで本研究では,2次降下を効果的に緩和するためにトレーニング目標を調整し,その効果を3つのベンチマークデータセットで検証した。

関連論文リスト

• Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection [25.55455239006278]
  トレーニング信号のダイナミクスに基づいて,誤ラベル付きインスタンスと正しくラベル付けされたインスタンスを識別するDynaCorフレームワークを提案する。 我々の総合的な実験により、DynaCorは最先端のライバルより優れており、様々なノイズタイプやノイズレートに対して強い堅牢性を示している。
  論文  参考訳（メタデータ） (2024-05-30T10:06:06Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。