論文の概要: On The Distribution of Penultimate Activations of Classification Networks

• arxiv url: http://arxiv.org/abs/2107.01900v2
• Date: Tue, 6 Jul 2021 01:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 14:06:20.399570
• Title: On The Distribution of Penultimate Activations of Classification Networks
• Title（参考訳）: 分類網のPultimate Activationの分布について
• Authors: Minkyo Seo, Yoonho Lee, Suha Kwak
• Abstract要約: 分類ネットワークがクロスエントロピー損失で訓練されると、その最終分類層は、ペナルティアクティベーションの特定の分布に基づく生成的分類器と生成的識別的ペアを形成する。 さらに重要なことに、この分布は最終完全連結層の重みによってパラメータ化され、入力データを供給せずに最後尾の活性化を合成する生成モデルとみなすことができる。
• 参考スコア（独自算出の注目度）: 21.35643831571589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies probability distributions of penultimate activations of classification networks. We show that, when a classification network is trained with the cross-entropy loss, its final classification layer forms a Generative-Discriminative pair with a generative classifier based on a specific distribution of penultimate activations. More importantly, the distribution is parameterized by the weights of the final fully-connected layer, and can be considered as a generative model that synthesizes the penultimate activations without feeding input data. We empirically demonstrate that this generative model enables stable knowledge distillation in the presence of domain shift, and can transfer knowledge from a classifier to variational autoencoders and generative adversarial networks for class-conditional image generation.
• Abstract（参考訳）: 本稿では,分類ネットワークの固有アクティベーションの確率分布について検討する。 分類ネットワークがクロスエントロピー損失で訓練されると、最終分類層は、ペナルティ的活性化の特定の分布に基づく生成的分類器を持つ生成的判別的ペアを形成する。 さらに重要なことに、この分布は最終完全連結層の重みによってパラメータ化され、入力データを供給することなくペナルティメート活性化を合成する生成モデルと見なすことができる。 我々は,この生成モデルによって,領域シフトが存在する場合に安定した知識蒸留が可能となり,クラス条件画像生成のための分類器から変分オートエンコーダ,生成逆ネットワークへ知識を伝達できることを実証的に証明する。

関連論文リスト

• Context-Specific Refinements of Bayesian Network Classifiers [1.9136291802656262]
  分類器の新しいクラスとベイズネットワークの関係について検討する。 モデルにデータ駆動学習ルーチンを導入し実装する。 この研究は、非対称情報を埋め込んだモデルが分類精度を高めることを実証している。
  論文  参考訳（メタデータ） (2024-05-28T15:50:50Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Generator Born from Classifier [66.56001246096002]
  データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。 本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T03:41:17Z)
• Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
  そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。 これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
  論文  参考訳（メタデータ） (2023-06-23T15:07:01Z)
• Active Inference-Based Optimization of Discriminative Neural Network Classifiers [3.1219977244201056]
  そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。 提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
  論文  参考訳（メタデータ） (2023-06-04T19:30:28Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• Multi-Fake Evolutionary Generative Adversarial Networks for Imbalance Hyperspectral Image Classification [7.9067022260826265]
  本稿では,不均衡なハイパースペクトル画像分類を扱うために,新しいマルチフェイク進化生成逆数ネットワークを提案する。 ジェネレータネットワークの分類性能を向上させるため、ジェネレータネットワークでは異なる生成目標損失が考慮される。 提案手法の有効性を2つの超スペクトル空間スペクトルデータセットを用いて検証した。
  論文  参考訳（メタデータ） (2021-11-07T07:29:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• cGANs with Auxiliary Discriminative Classifier [43.78253518292111]
  条件付き生成モデルは、データとラベルの基本的な結合分布を学習することを目的としている。 副分類器生成敵ネットワーク (AC-GAN) は広く用いられているが, 生成標本のクラス内多様性の低い問題に悩まされている。 本稿では,AC-GANの問題に対処するため,補助識別器(ADC-GAN)を用いた新しいcGANを提案する。
  論文  参考訳（メタデータ） (2021-07-21T13:06:32Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。