論文の概要: Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study

• arxiv url: http://arxiv.org/abs/2002.01810v1
• Date: Wed, 5 Feb 2020 14:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 21:21:36.925714
• Title: Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study
• Title（参考訳）: ディープニューラルネットワークの意思決定境界を理解する:実証的研究
• Authors: David Mickisch, Felix Assion, Florens Gre{\ss}ner, Wiebke G\"unther, Mariele Motta
• Abstract要約: 我々は、決定境界に対するデータポイントの最小距離と、このマージンがディープニューラルネットワークのトレーニングによってどのように進化するかを検討する。 我々は、決定境界が訓練よりも自然画像に近づくのを観察する。 一方、敵の訓練は、決定境界の望ましくない収束を防ぐ可能性がある。
• 参考スコア（独自算出の注目度）: 0.4499833362998487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite achieving remarkable performance on many image classification tasks, state-of-the-art machine learning (ML) classifiers remain vulnerable to small input perturbations. Especially, the existence of adversarial examples raises concerns about the deployment of ML models in safety- and security-critical environments, like autonomous driving and disease detection. Over the last few years, numerous defense methods have been published with the goal of improving adversarial as well as corruption robustness. However, the proposed measures succeeded only to a very limited extent. This limited progress is partly due to the lack of understanding of the decision boundary and decision regions of deep neural networks. Therefore, we study the minimum distance of data points to the decision boundary and how this margin evolves over the training of a deep neural network. By conducting experiments on MNIST, FASHION-MNIST, and CIFAR-10, we observe that the decision boundary moves closer to natural images over training. This phenomenon even remains intact in the late epochs of training, where the classifier already obtains low training and test error rates. On the other hand, adversarial training appears to have the potential to prevent this undesired convergence of the decision boundary.
• Abstract（参考訳）: 多くの画像分類タスクにおいて顕著な性能を達成したにもかかわらず、最先端機械学習(ML)分類器は小さな入力摂動に弱いままである。 特に、敵対的な例の存在は、自律運転や疾患検出など、安全およびセキュリティクリティカルな環境におけるMLモデルのデプロイに関する懸念を提起する。 ここ数年、敵国と汚職の堅牢性を改善するために、多くの防衛手法が公表されてきた。 しかし、提案された措置は非常に限られた範囲に留まった。 この限定的な進歩は、ディープニューラルネットワークにおける決定境界と決定領域の理解の欠如による部分もある。 そこで本研究では、決定境界に対するデータポイントの最小距離と、このマージンが深層ニューラルネットワークのトレーニングによってどのように進化するかを考察する。 mnist,fashion-mnist,cifar-10について実験を行った結果,決定境界は訓練後に自然画像に近づいた。 この現象は、分類器が既に低いトレーニングとテストエラー率を得る訓練の後期にも残っています。 一方、敵対的訓練は、決定境界のこの望ましくない収束を防ぐ可能性を秘めているように見える。

関連論文リスト

• Understanding Human Activity with Uncertainty Measure for Novelty in Graph Convolutional Networks [2.223052975765005]
  本稿では,テンポラルフュージョングラフ畳み込みネットワークについて紹介する。 これは、アクティビティストリーム内の個々のアクションの境界推定が不十分であることを是正することを目的としている。 また、時間次元における過分割の問題も緩和する。
  論文  参考訳（メタデータ） (2024-10-10T13:44:18Z)
• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency [61.394997313144394]
  カタストロフィックオーバーフィッティング(CO)は単段階逆行訓練(AT)において重要な課題となる また,CO中において,前層はより感受性が高く,より早く,より歪みが強く,後者層は相対的不感度を示した。 提案手法であるLayer-Aware Adversarial Weight Perturbation (LAP)は,COを効果的に防止し,ロバスト性を高める。
  論文  参考訳（メタデータ） (2024-05-25T14:56:30Z)
• Improving classifier decision boundaries using nearest neighbors [1.8592384822257952]
  ニューラルネットワークは最適な決定境界を学習していないことを示す。 我々は, ラベルノイズに対する耐性, (ii) 敵攻撃に対する堅牢性, (iii) 分類精度, ある程度の解釈可能性を示すために, 自己学習型および事前学習型畳み込みニューラルネットワークを用いている。
  論文  参考訳（メタデータ） (2023-10-05T22:11:52Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。