論文の概要: Class Interference of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2211.01370v1
- Date: Mon, 31 Oct 2022 22:29:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 12:05:36.260561
- Title: Class Interference of Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークのクラス干渉
- Authors: Dongcui Diao, Hengshuai Yao, and Bei Jiang
- Abstract要約: すべてのディープニューラルネットワークにクラス干渉の現象があることが示される。
クラス干渉を理解するために,クラス間テスト,クラスエゴ方向,干渉モデルを提案する。
- 参考スコア(独自算出の注目度): 8.817753574045174
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recognizing and telling similar objects apart is even hard for human beings.
In this paper, we show that there is a phenomenon of class interference with
all deep neural networks. Class interference represents the learning difficulty
in data, and it constitutes the largest percentage of generalization errors by
deep networks. To understand class interference, we propose cross-class tests,
class ego directions and interference models. We show how to use these
definitions to study minima flatness and class interference of a trained model.
We also show how to detect class interference during training through label
dancing pattern and class dancing notes.
- Abstract(参考訳): 類似した物体を区別し、伝えることは、人間にとってさらに難しい。
本稿では,すべての深層ニューラルネットワークにクラス干渉現象が存在することを示す。
クラス干渉はデータの学習の難しさを表し、ディープネットワークによる一般化エラーの最大割合を構成する。
クラス干渉を理解するために,クラス間テスト,クラスエゴ方向,干渉モデルを提案する。
これらの定義を用いて、訓練されたモデルのミニマ平坦性とクラス干渉を研究する方法を示す。
また,授業中のクラス干渉をラベルダンスパターンとクラスダンスノートで検出する方法を示す。
関連論文リスト
- Theoretical Understanding of Learning from Adversarial Perturbations [30.759348459463467]
敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。
本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。
以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
論文 参考訳(メタデータ) (2024-02-16T06:22:44Z) - Keep It Simple: CNN Model Complexity Studies for Interference
Classification Tasks [7.358050500046429]
本研究は,データセットサイズ,CNNモデル複雑性,分類精度のトレードオフを,分類難度に応じて検討する。
3つの無線データセットをベースとした本研究では,パラメータの少ないより単純なCNNモデルと,より複雑なモデルが実現可能であることを示す。
論文 参考訳(メタデータ) (2023-03-06T17:53:42Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳(メタデータ) (2022-01-23T21:18:17Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳(メタデータ) (2021-07-19T13:57:13Z) - Attack to Fool and Explain Deep Networks [59.97135687719244]
対人摂動における人為的意味のパターンの証拠を提供することによって、私たちは逆転する。
我々の主な貢献は、その後視覚モデルを理解するためのツールに変換される、新しい実用的対人攻撃である。
論文 参考訳(メタデータ) (2021-06-20T03:07:36Z) - Procrustean Training for Imbalanced Deep Learning [40.85940706868622]
ニューラルネットワークは,そのデータの大部分を主要なクラスに分類することで,まずはマイナークラスに不適合になりがちであることを示す。
授業間の学習の進捗を均等化する新しい学習戦略を提案する。
論文 参考訳(メタデータ) (2021-04-05T04:44:01Z) - Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。
敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
論文 参考訳(メタデータ) (2020-09-21T19:20:09Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z) - How benign is benign overfitting? [96.07549886487526]
深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。
ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。
我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
論文 参考訳(メタデータ) (2020-07-08T11:07:10Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z) - An analytic theory of shallow networks dynamics for hinge loss
classification [14.323962459195771]
我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。
我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。
これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
論文 参考訳(メタデータ) (2020-06-19T16:25:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。