論文の概要: Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification
- arxiv url: http://arxiv.org/abs/2011.09066v1
- Date: Wed, 18 Nov 2020 03:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 04:23:08.129336
- Title: Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification
- Title(参考訳): 視覚分類のためのガウス混合への深い特徴空間形成
- Authors: Weitao Wan, Jiansheng Chen, Cheng Yu, Tong Wu, Yuanyi Zhong,
Ming-Hsuan Yang
- Abstract要約: 視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
- 参考スコア(独自算出の注目度): 74.48695037007306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The softmax cross-entropy loss function has been widely used to train deep
models for various tasks. In this work, we propose a Gaussian mixture (GM) loss
function for deep neural networks for visual classification. Unlike the softmax
cross-entropy loss, our method explicitly shapes the deep feature space towards
a Gaussian Mixture distribution. With a classification margin and a likelihood
regularization, the GM loss facilitates both high classification performance
and accurate modeling of the feature distribution. The GM loss can be readily
used to distinguish abnormal inputs, such as the adversarial examples, based on
the discrepancy between feature distributions of the inputs and the training
set. Furthermore, theoretical analysis shows that a symmetric feature space can
be achieved by using the GM loss, which enables the models to perform robustly
against adversarial attacks. The proposed model can be implemented easily and
efficiently without using extra trainable parameters. Extensive evaluations
demonstrate that the proposed method performs favorably not only on image
classification but also on robust detection of adversarial examples generated
by strong attacks under different threat models.
- Abstract(参考訳): ソフトマックスクロスエントロピー損失関数は様々なタスクの深層モデルの訓練に広く用いられている。
本研究では,視覚分類のためのディープニューラルネットワークのためのガウス混合(gm)損失関数を提案する。
ソフトマックスのクロスエントロピー損失とは違い,本手法はガウス混合分布に対する深い特徴空間を明示的に形成する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
GM損失は、入力の特徴分布とトレーニングセットの相違に基づいて、逆例のような異常な入力を区別するために容易に使用できる。
さらに、理論解析により、gm損失を用いて対称特徴空間が達成できることが示され、これはモデルが敵対的攻撃に対してロバストに実行することを可能にする。
提案モデルは, 余分な学習パラメータを使わずに, 容易かつ効率的に実装できる。
提案手法は画像分類だけでなく,異なる脅威モデルによる強攻撃によって生じる敵例の堅牢な検出にも有効であることを示す。
関連論文リスト
- Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳(メタデータ) (2023-10-13T15:40:55Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-11T15:20:54Z) - Approximate better, Attack stronger: Adversarial Example Generation via
Asymptotically Gaussian Mixture Distribution [20.675257615330864]
複数の漸近的正規分布攻撃(MultiANDA)を提案する。
我々は勾配上昇(SGA)の正規性を利用して摂動の後方分布を近似する。
提案手法は、防御の有無にかかわらず、ディープラーニングモデルに対する9つの最先端のブラックボックス攻撃より優れている。
論文 参考訳(メタデータ) (2022-09-24T08:57:10Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳(メタデータ) (2020-10-26T01:44:20Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳(メタデータ) (2020-10-15T16:07:26Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳(メタデータ) (2020-09-29T12:50:33Z) - Understanding Anomaly Detection with Deep Invertible Networks through
Hierarchies of Distributions and Features [4.25227087152716]
畳み込みネットワークは、任意の自然言語データセットでトレーニングされた場合、同様の低レベルの特徴分布を学習する。
inlier とoutlier の識別的特徴が高いレベルにある場合、異常検出は特に困難になる。
モデルバイアスとドメインが高レベルの差を検出する前に負の影響を除去する2つの方法を提案する。
論文 参考訳(メタデータ) (2020-06-18T20:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。