論文の概要: On The Distribution of Penultimate Activations of Classification Networks

• arxiv url: http://arxiv.org/abs/2107.01900v1
• Date: Mon, 5 Jul 2021 09:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:13:28.444745
• Title: On The Distribution of Penultimate Activations of Classification Networks
• Title（参考訳）: 分類網のPultimate Activationの分布について
• Authors: Minkyo Seo, Yoonho Lee, Suha Kwak
• Abstract要約: 分類ネットワークがクロスエントロピー損失で訓練されると、その最終クラスi分布層は、特定の暗黙のアクティベーションに基づいて生成型分類器で生成型識別ペアを形成する。 この生成モデルは,ドメインシフトが存在する場合に,安定した知識の解離を可能にすることを実証的に実証する。
• 参考スコア（独自算出の注目度）: 21.35643831571589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies probability distributions ofpenultimate activations of classification networks.We show that, when a classification network istrained with the cross-entropy loss, its final classi-fication layer forms aGenerative-Discriminativepairwith a generative classifier based on a specificdistribution of penultimate activations. More im-portantly, the distribution is parameterized by theweights of the final fully-connected layer, and canbe considered as a generative model that synthe-sizes the penultimate activations without feedinginput data. We empirically demonstrate that thisgenerative model enables stable knowledge dis-tillation in the presence of domain shift, and cantransfer knowledge from a classifier to variationalautoencoders and generative adversarial networksfor class-conditional image generation.
• Abstract（参考訳）: 本稿では,分類ネットワークの固有アクティベーションの確率分布について検討し,分類ネットワークがクロスエントロピー損失で訓練された場合,その最終クラスi-フィケーション層は,固有なアクティベーションの分布に基づく生成型分類器を用いて生成型識別ペアを形成することを示す。 より不運なことに、分布は最終完全連結層の重み付けによってパラメータ化され、フィードインプットデータなしでペナルティミットのアクティベーションを合成する生成モデルと見なすことができる。 我々は,この生成モデルによって,ドメインシフトが存在する場合に,安定した知識の解消が可能となり,クラス条件画像生成のための分類器から変分オートエンコーダ,生成逆ネットワークへの知識の移動が可能になることを実証的に証明する。

関連論文リスト

• Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
  そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。 これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
  論文  参考訳（メタデータ） (2023-06-23T15:07:01Z)
• Active Inference-Based Optimization of Discriminative Neural Network Classifiers [3.1219977244201056]
  そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。 提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
  論文  参考訳（メタデータ） (2023-06-04T19:30:28Z)
• Variational Classification [51.2541371924591]
  本稿では,ニューラルネットワークソフトマックス分類器の新しい確率論的解釈を提供する潜在変数モデルを提案する。 我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことにより, 正確なラベル予測に必要な分布と, 実際に見出された経験的分布との間には, 潜在的な矛盾が明らかとなった。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• On the rate of convergence of a classifier based on a Transformer encoder [55.41148606254641]
  最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。 この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
  論文  参考訳（メタデータ） (2021-11-29T14:58:29Z)
• Multi-Fake Evolutionary Generative Adversarial Networks for Imbalance Hyperspectral Image Classification [7.9067022260826265]
  本稿では,不均衡なハイパースペクトル画像分類を扱うために,新しいマルチフェイク進化生成逆数ネットワークを提案する。 ジェネレータネットワークの分類性能を向上させるため、ジェネレータネットワークでは異なる生成目標損失が考慮される。 提案手法の有効性を2つの超スペクトル空間スペクトルデータセットを用いて検証した。
  論文  参考訳（メタデータ） (2021-11-07T07:29:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• cGANs with Auxiliary Discriminative Classifier [43.78253518292111]
  条件付き生成モデルは、データとラベルの基本的な結合分布を学習することを目的としている。 副分類器生成敵ネットワーク (AC-GAN) は広く用いられているが, 生成標本のクラス内多様性の低い問題に悩まされている。 本稿では,AC-GANの問題に対処するため,補助識別器(ADC-GAN)を用いた新しいcGANを提案する。
  論文  参考訳（メタデータ） (2021-07-21T13:06:32Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。