論文の概要: On The Distribution of Penultimate Activations of Classification Networks

• arxiv url: http://arxiv.org/abs/2107.01900v2
• Date: Tue, 6 Jul 2021 01:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 14:06:20.399570
• Title: On The Distribution of Penultimate Activations of Classification Networks
• Title（参考訳）: 分類網のPultimate Activationの分布について
• Authors: Minkyo Seo, Yoonho Lee, Suha Kwak
• Abstract要約: 分類ネットワークがクロスエントロピー損失で訓練されると、その最終分類層は、ペナルティアクティベーションの特定の分布に基づく生成的分類器と生成的識別的ペアを形成する。 さらに重要なことに、この分布は最終完全連結層の重みによってパラメータ化され、入力データを供給せずに最後尾の活性化を合成する生成モデルとみなすことができる。
• 参考スコア（独自算出の注目度）: 21.35643831571589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies probability distributions of penultimate activations of classification networks. We show that, when a classification network is trained with the cross-entropy loss, its final classification layer forms a Generative-Discriminative pair with a generative classifier based on a specific distribution of penultimate activations. More importantly, the distribution is parameterized by the weights of the final fully-connected layer, and can be considered as a generative model that synthesizes the penultimate activations without feeding input data. We empirically demonstrate that this generative model enables stable knowledge distillation in the presence of domain shift, and can transfer knowledge from a classifier to variational autoencoders and generative adversarial networks for class-conditional image generation.
• Abstract（参考訳）: 本稿では,分類ネットワークの固有アクティベーションの確率分布について検討する。 分類ネットワークがクロスエントロピー損失で訓練されると、最終分類層は、ペナルティ的活性化の特定の分布に基づく生成的分類器を持つ生成的判別的ペアを形成する。 さらに重要なことに、この分布は最終完全連結層の重みによってパラメータ化され、入力データを供給することなくペナルティメート活性化を合成する生成モデルと見なすことができる。 我々は,この生成モデルによって,領域シフトが存在する場合に安定した知識蒸留が可能となり,クラス条件画像生成のための分類器から変分オートエンコーダ,生成逆ネットワークへ知識を伝達できることを実証的に証明する。

関連論文リスト

• Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
  そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。 これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
  論文  参考訳（メタデータ） (2023-06-23T15:07:01Z)
• Active Inference-Based Optimization of Discriminative Neural Network Classifiers [3.1219977244201056]
  そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。 提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
  論文  参考訳（メタデータ） (2023-06-04T19:30:28Z)
• Variational Classification [51.2541371924591]
  本稿では,ニューラルネットワークソフトマックス分類器の新しい確率論的解釈を提供する潜在変数モデルを提案する。 我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことにより, 正確なラベル予測に必要な分布と, 実際に見出された経験的分布との間には, 潜在的な矛盾が明らかとなった。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• On the rate of convergence of a classifier based on a Transformer encoder [55.41148606254641]
  最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。 この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
  論文  参考訳（メタデータ） (2021-11-29T14:58:29Z)
• Multi-Fake Evolutionary Generative Adversarial Networks for Imbalance Hyperspectral Image Classification [7.9067022260826265]
  本稿では,不均衡なハイパースペクトル画像分類を扱うために,新しいマルチフェイク進化生成逆数ネットワークを提案する。 ジェネレータネットワークの分類性能を向上させるため、ジェネレータネットワークでは異なる生成目標損失が考慮される。 提案手法の有効性を2つの超スペクトル空間スペクトルデータセットを用いて検証した。
  論文  参考訳（メタデータ） (2021-11-07T07:29:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• cGANs with Auxiliary Discriminative Classifier [43.78253518292111]
  条件付き生成モデルは、データとラベルの基本的な結合分布を学習することを目的としている。 副分類器生成敵ネットワーク (AC-GAN) は広く用いられているが, 生成標本のクラス内多様性の低い問題に悩まされている。 本稿では,AC-GANの問題に対処するため,補助識別器(ADC-GAN)を用いた新しいcGANを提案する。
  論文  参考訳（メタデータ） (2021-07-21T13:06:32Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。