論文の概要: Hold me tight! Influence of discriminative features on deep network boundaries

• arxiv url: http://arxiv.org/abs/2002.06349v4
• Date: Thu, 15 Oct 2020 07:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 22:44:18.871269
• Title: Hold me tight! Influence of discriminative features on deep network boundaries
• Title（参考訳）: しっかりつかまって! 判別的特徴がディープネットワーク境界に及ぼす影響
• Authors: Guillermo Ortiz-Jimenez, Apostolos Modas, Seyed-Mohsen Moosavi-Dezfooli, Pascal Frossard
• Abstract要約: 本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
• 参考スコア（独自算出の注目度）: 63.627760598441796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Important insights towards the explainability of neural networks reside in the characteristics of their decision boundaries. In this work, we borrow tools from the field of adversarial robustness, and propose a new perspective that relates dataset features to the distance of samples to the decision boundary. This enables us to carefully tweak the position of the training samples and measure the induced changes on the boundaries of CNNs trained on large-scale vision datasets. We use this framework to reveal some intriguing properties of CNNs. Specifically, we rigorously confirm that neural networks exhibit a high invariance to non-discriminative features, and show that the decision boundaries of a DNN can only exist as long as the classifier is trained with some features that hold them together. Finally, we show that the construction of the decision boundary is extremely sensitive to small perturbations of the training samples, and that changes in certain directions can lead to sudden invariances in the orthogonal ones. This is precisely the mechanism that adversarial training uses to achieve robustness.
• Abstract（参考訳）: ニューラルネットワークの説明可能性に対する重要な洞察は、その決定境界の特徴にある。 本研究では,敵対的ロバスト性の分野からツールを借用し,データセットの特徴とサンプルの距離を決定境界に関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたcnnの境界の変化を測定することができます。 このフレームワークを使って、CNNの興味深い特性を明らかにします。 具体的には、ニューラルネットワークが非識別的特徴に対して高い不変性を示すことを厳密に確認し、DNNの決定境界は、分類器がそれらを保持するいくつかの特徴で訓練される限り存在することを示す。 最後に、決定境界の構築は、トレーニングサンプルの小さな摂動に非常に敏感であり、特定の方向の変化は、直交領域の急激な不変性をもたらす可能性があることを示す。 これはまさに、敵のトレーニングが堅牢性を達成するために使うメカニズムです。

関連論文リスト

• Application of Tensorized Neural Networks for Cloud Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は、天気予報、コンピュータビジョン、自律運転、医療画像解析など、さまざまな分野で広く利用されている。 しかし、これらの領域におけるCNNの実装と商業化は、モデルのサイズ、過度な適合、計算時間に関連する課題によって妨げられている。 モデルサイズと計算時間を削減するため,CNN内の高密度層をテンソル化することによる画期的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-21T06:28:22Z)
• Why do Learning Rates Transfer? Reconciling Optimization and Scaling Limits for Deep Learning [77.82908213345864]
  学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。 ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial Detection [22.99930028876662]
  畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。 現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。 本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-13T17:51:32Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
  畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。 CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
  論文  参考訳（メタデータ） (2020-09-08T02:08:20Z)
• Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study [0.4499833362998487]
  我々は、決定境界に対するデータポイントの最小距離と、このマージンがディープニューラルネットワークのトレーニングによってどのように進化するかを検討する。 我々は、決定境界が訓練よりも自然画像に近づくのを観察する。 一方、敵の訓練は、決定境界の望ましくない収束を防ぐ可能性がある。
  論文  参考訳（メタデータ） (2020-02-05T14:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。