論文の概要: Beyond cross-entropy: learning highly separable feature distributions
for robust and accurate classification
- arxiv url: http://arxiv.org/abs/2010.15487v1
- Date: Thu, 29 Oct 2020 11:15:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 23:39:28.913742
- Title: Beyond cross-entropy: learning highly separable feature distributions
for robust and accurate classification
- Title（参考訳）: クロスエントロピーを超えて:ロバストで正確な分類のための高度に分離可能な特徴分布の学習
- Authors: Arslan Ali, Andrea Migliorati, Tiziano Bianchi, Enrico Magli
- Abstract要約: 本稿では, 対角的ロバスト性を提供する, ディープロバストなマルチクラス分類器を訓練するための新しい手法を提案する。
提案手法に基づく潜在空間の正則化は,優れた分類精度が得られることを示す。
- 参考スコア（独自算出の注目度）: 22.806324361016863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has shown outstanding performance in several applications
including image classification. However, deep classifiers are known to be
highly vulnerable to adversarial attacks, in that a minor perturbation of the
input can easily lead to an error. Providing robustness to adversarial attacks
is a very challenging task especially in problems involving a large number of
classes, as it typically comes at the expense of an accuracy decrease. In this
work, we propose the Gaussian class-conditional simplex (GCCS) loss: a novel
approach for training deep robust multiclass classifiers that provides
adversarial robustness while at the same time achieving or even surpassing the
classification accuracy of state-of-the-art methods. Differently from other
frameworks, the proposed method learns a mapping of the input classes onto
target distributions in a latent space such that the classes are linearly
separable. Instead of maximizing the likelihood of target labels for individual
samples, our objective function pushes the network to produce feature
distributions yielding high inter-class separation. The mean values of the
distributions are centered on the vertices of a simplex such that each class is
at the same distance from every other class. We show that the regularization of
the latent space based on our approach yields excellent classification accuracy
and inherently provides robustness to multiple adversarial attacks, both
targeted and untargeted, outperforming state-of-the-art approaches over
challenging datasets.
- Abstract（参考訳）: ディープラーニングは、画像分類を含むいくつかのアプリケーションで顕著な性能を示している。
しかし、深い分類器は敵の攻撃に対して非常に脆弱であることが知られており、入力の小さな摂動が容易に誤りを引き起こす可能性がある。
敵の攻撃に対してロバスト性を提供することは、特に多くのクラスを含む問題において、精度の低下を犠牲にするため、非常に困難なタスクである。
本研究では,最先端手法の分類精度を達成あるいは超えつつ,逆ロバスト性を提供する深層ロバストマルチクラス分類器を訓練するための新しい手法であるガウス型クラス条件単純化(gccs)損失を提案する。
他のフレームワークと異なり、提案手法は、クラスが線形分離可能であるような潜在空間内の対象分布への入力クラスのマッピングを学習する。
個々のサンプルに対するターゲットラベルの可能性を最大化する代わりに、目的関数はネットワークに高いクラス間分離をもたらす特徴分布を生成する。
分布の平均値は、各クラスが他のすべてのクラスから同じ距離にあるように、単純体の頂点に集中する。
提案手法に基づく潜在空間の正規化は、優れた分類精度をもたらし、本質的に、ターゲットと未ターゲットの両方の複数の敵攻撃に対して、挑戦的データセットに対する最先端のアプローチに頑健であることを示す。
関連論文リスト
- Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - PARL: Enhancing Diversity of Ensemble Networks to Resist Adversarial
Attacks via Pairwise Adversarially Robust Loss Function [13.417003144007156]
敵の攻撃は 転送可能性の原理に 依存する傾向があります
敵攻撃に対するアンサンブル法は、敵の例が複数の分類器を誤解させる可能性が低いことを示す。
最近のアンサンブル法は、より強い敵に弱いか、エンドツーエンドの評価が欠如していることが示されている。
論文 参考訳（メタデータ） (2021-12-09T14:26:13Z) - Towards A Conceptually Simple Defensive Approach for Few-shot
classifiers Against Adversarial Support Samples [107.38834819682315]
本研究は,数発の分類器を敵攻撃から守るための概念的簡便なアプローチについて検討する。
本稿では,自己相似性とフィルタリングの概念を用いた簡易な攻撃非依存検出法を提案する。
ミニイメージネット(MI)とCUBデータセットの攻撃検出性能は良好である。
論文 参考訳（メタデータ） (2021-10-24T05:46:03Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z) - Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid
Models [4.189643331553922]
半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。
我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
論文 参考訳（メタデータ） (2021-05-22T05:55:16Z) - Scaling Ensemble Distribution Distillation to Many Classes with Proxy
Targets [12.461503242570643]
emphEnsemble Distribution Distillationは、単一のモデルが、アンサンブルの予測性能と不確実性の両方を効率的にキャプチャできるアプローチである。
分類では、最大確率基準を通じてアンサンブルメンバーの出力分布の上のディリクレ分布を訓練することで達成される。
理論的には、この基準はクラス数が非常に高い大規模タスクに適用される場合の収束性に乏しい。
論文 参考訳（メタデータ） (2021-05-14T17:50:14Z) - No Subclass Left Behind: Fine-Grained Robustness in Coarse-Grained
Classification Problems [20.253644336965042]
実世界の分類タスクでは、各クラスは、しばしば複数のよりきめ細かい「サブクラス」を含む。
サブクラスラベルは頻繁に利用できないため、粗粒度のクラスラベルのみを使用してトレーニングされたモデルは、異なるサブクラス間で高い可変性能を示すことが多い。
本稿では,サブクラスラベルが不明な場合でも,隠れ層化を計測・緩和するGEORGEを提案する。
論文 参考訳（メタデータ） (2020-11-25T18:50:32Z) - Towards Robust Fine-grained Recognition by Maximal Separation of
Discriminative Features [72.72840552588134]
本研究は, 粒度認識ネットワークにおけるクラス間の潜伏表現の近接性を, 敵攻撃の成功の鍵となる要因として同定する。
注意に基づく正規化機構を導入し、異なるクラスの識別潜在特徴を最大限に分離する。
論文 参考訳（メタデータ） (2020-06-10T18:34:45Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。