論文の概要: Well-classified Examples are Underestimated in Classification with Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.06537v1
• Date: Wed, 13 Oct 2021 07:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 13:33:49.102736
• Title: Well-classified Examples are Underestimated in Classification with Deep Neural Networks
• Title（参考訳）: よく分類された例はディープニューラルネットワークを用いた分類において過小評価される
• Authors: Guangxiang Zhao, Wenkai Yang, Xuancheng Ren, Lei Li, Xu Sun
• Abstract要約: 深層分類モデルの学習の背景にある従来の知恵は、悪い分類例に焦点を当てることである。 この一般的な実践は、表現学習、エネルギー最適化、マージンの成長を妨げることが示される。 そこで本研究では,学習への貢献を復活させるために,付加的なボーナスを付与した固有例を報酬として提案する。
• 参考スコア（独自算出の注目度）: 23.25956600645678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The conventional wisdom behind learning deep classification models is to focus on bad-classified examples and ignore well-classified examples that are far from the decision boundary. For instance, when training with cross-entropy loss, examples with higher likelihoods (i.e., well-classified examples) contribute smaller gradients in back-propagation. However, we theoretically show that this common practice hinders representation learning, energy optimization, and the growth of margin. To counteract this deficiency, we propose to reward well-classified examples with additive bonuses to revive their contribution to learning. This counterexample theoretically addresses these three issues. We empirically support this claim by directly verify the theoretical results or through the significant performance improvement with our counterexample on diverse tasks, including image classification, graph classification, and machine translation. Furthermore, this paper shows that because our idea can solve these three issues, we can deal with complex scenarios, such as imbalanced classification, OOD detection, and applications under adversarial attacks.
• Abstract（参考訳）: 深層分類モデルの学習の背景にある従来の知恵は、悪い分類例に焦点を合わせ、決定境界から遠く離れたよく分類された例を無視することである。 例えば、クロスエントロピー損失のトレーニングでは、確率の高い例(例えば、よく分類された例)は、バックプロパゲーションの勾配を小さくする。 しかし、この慣習が表現学習、エネルギー最適化、マージンの成長を妨げることを理論的に示している。 この不足に対処するために,学習への貢献を復活させるために,分類された例に付加ボーナスを付与することを提案する。 この反例は理論的にこれら3つの問題に対処する。 画像分類, グラフ分類, 機械翻訳など, さまざまなタスクに対して, 理論結果を直接検証し, あるいは, 大幅な性能改善を行うことで, この主張を実証的に支持する。 さらに,本論文では,これらの3つの課題を解決できるため,不均衡な分類やOOD検出,敵攻撃時の応用など,複雑なシナリオに対処できることを示す。

関連論文リスト

• Wide Two-Layer Networks can Learn from Adversarial Perturbations [27.368408524000778]
  摂動学習の反直感的成功を理論的に説明する。 対角摂動は、ネットワークがそれらから一般化するのに十分なクラス固有の特徴を含むことを証明している。
  論文  参考訳（メタデータ） (2024-10-31T06:55:57Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• ATRO: Adversarial Training with a Rejection Option [10.36668157679368]
  本稿では, 逆例による性能劣化を軽減するために, 拒否オプション付き分類フレームワークを提案する。 分類器と拒否関数を同時に適用することにより、テストデータポイントの分類に自信が不十分な場合に分類を控えることができる。
  論文  参考訳（メタデータ） (2020-10-24T14:05:03Z)
• Adversarial Example Games [51.92698856933169]
  Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。 AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。 MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
  論文  参考訳（メタデータ） (2020-07-01T19:47:23Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)
• AdvJND: Generating Adversarial Examples with Just Noticeable Difference [3.638233924421642]
  例に小さな摂動を加えると、優れたパフォーマンスモデルが工芸品の例を誤って分類する。 我々のAdvJNDアルゴリズムが生成した逆例は、元の入力に類似した分布を生成する。
  論文  参考訳（メタデータ） (2020-02-01T09:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。