論文の概要: Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification

• arxiv url: http://arxiv.org/abs/2011.09066v1
• Date: Wed, 18 Nov 2020 03:32:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:23:08.129336
• Title: Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification
• Title（参考訳）: 視覚分類のためのガウス混合への深い特徴空間形成
• Authors: Weitao Wan, Jiansheng Chen, Cheng Yu, Tong Wu, Yuanyi Zhong, Ming-Hsuan Yang
• Abstract要約: 視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
• 参考スコア（独自算出の注目度）: 74.48695037007306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The softmax cross-entropy loss function has been widely used to train deep models for various tasks. In this work, we propose a Gaussian mixture (GM) loss function for deep neural networks for visual classification. Unlike the softmax cross-entropy loss, our method explicitly shapes the deep feature space towards a Gaussian Mixture distribution. With a classification margin and a likelihood regularization, the GM loss facilitates both high classification performance and accurate modeling of the feature distribution. The GM loss can be readily used to distinguish abnormal inputs, such as the adversarial examples, based on the discrepancy between feature distributions of the inputs and the training set. Furthermore, theoretical analysis shows that a symmetric feature space can be achieved by using the GM loss, which enables the models to perform robustly against adversarial attacks. The proposed model can be implemented easily and efficiently without using extra trainable parameters. Extensive evaluations demonstrate that the proposed method performs favorably not only on image classification but also on robust detection of adversarial examples generated by strong attacks under different threat models.
• Abstract（参考訳）: ソフトマックスクロスエントロピー損失関数は様々なタスクの深層モデルの訓練に広く用いられている。 本研究では,視覚分類のためのディープニューラルネットワークのためのガウス混合(gm)損失関数を提案する。 ソフトマックスのクロスエントロピー損失とは違い,本手法はガウス混合分布に対する深い特徴空間を明示的に形成する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 GM損失は、入力の特徴分布とトレーニングセットの相違に基づいて、逆例のような異常な入力を区別するために容易に使用できる。 さらに、理論解析により、gm損失を用いて対称特徴空間が達成できることが示され、これはモデルが敵対的攻撃に対してロバストに実行することを可能にする。 提案モデルは, 余分な学習パラメータを使わずに, 容易かつ効率的に実装できる。 提案手法は画像分類だけでなく,異なる脅威モデルによる強攻撃によって生じる敵例の堅牢な検出にも有効であることを示す。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling [0.0]
  既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。 モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。 提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
  論文  参考訳（メタデータ） (2023-10-13T15:40:55Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning [24.10329164911317]
  多重漸近正規分布攻撃(MultiANDA)という手法を提案する。 我々は勾配上昇(SGA)の正規性を利用して摂動の後方分布を近似する。 提案手法は、防御の有無にかかわらず、ディープラーニングモデルに対する10の最先端のブラックボックス攻撃より優れる。
  論文  参考訳（メタデータ） (2022-09-24T08:57:10Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack and Learning [122.49765136434353]
  本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。 また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。 いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
  論文  参考訳（メタデータ） (2020-10-15T16:07:26Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features [4.25227087152716]
  畳み込みネットワークは、任意の自然言語データセットでトレーニングされた場合、同様の低レベルの特徴分布を学習する。 inlier とoutlier の識別的特徴が高いレベルにある場合、異常検出は特に困難になる。 モデルバイアスとドメインが高レベルの差を検出する前に負の影響を除去する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T20:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。