論文の概要: On The Distribution of Penultimate Activations of Classification
Networks
- arxiv url: http://arxiv.org/abs/2107.01900v1
- Date: Mon, 5 Jul 2021 09:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 15:13:28.444745
- Title: On The Distribution of Penultimate Activations of Classification
Networks
- Title（参考訳）: 分類網のPultimate Activationの分布について
- Authors: Minkyo Seo, Yoonho Lee, Suha Kwak
- Abstract要約: 分類ネットワークがクロスエントロピー損失で訓練されると、その最終クラスi分布層は、特定の暗黙のアクティベーションに基づいて生成型分類器で生成型識別ペアを形成する。
この生成モデルは,ドメインシフトが存在する場合に,安定した知識の解離を可能にすることを実証的に実証する。
- 参考スコア（独自算出の注目度）: 21.35643831571589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies probability distributions ofpenultimate activations of
classification networks.We show that, when a classification network istrained
with the cross-entropy loss, its final classi-fication layer forms
aGenerative-Discriminativepairwith a generative classifier based on a
specificdistribution of penultimate activations. More im-portantly, the
distribution is parameterized by theweights of the final fully-connected layer,
and canbe considered as a generative model that synthe-sizes the penultimate
activations without feedinginput data. We empirically demonstrate that
thisgenerative model enables stable knowledge dis-tillation in the presence of
domain shift, and cantransfer knowledge from a classifier to
variationalautoencoders and generative adversarial networksfor
class-conditional image generation.
- Abstract（参考訳）: 本稿では,分類ネットワークの固有アクティベーションの確率分布について検討し,分類ネットワークがクロスエントロピー損失で訓練された場合,その最終クラスi-フィケーション層は,固有なアクティベーションの分布に基づく生成型分類器を用いて生成型識別ペアを形成することを示す。
より不運なことに、分布は最終完全連結層の重み付けによってパラメータ化され、フィードインプットデータなしでペナルティミットのアクティベーションを合成する生成モデルと見なすことができる。
我々は,この生成モデルによって,ドメインシフトが存在する場合に,安定した知識の解消が可能となり,クラス条件画像生成のための分類器から変分オートエンコーダ,生成逆ネットワークへの知識の移動が可能になることを実証的に証明する。
関連論文リスト
- Context-Specific Refinements of Bayesian Network Classifiers [1.9136291802656262]
分類器の新しいクラスとベイズネットワークの関係について検討する。
モデルにデータ駆動学習ルーチンを導入し実装する。
この研究は、非対称情報を埋め込んだモデルが分類精度を高めることを実証している。
論文 参考訳（メタデータ） (2024-05-28T15:50:50Z) - Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳（メタデータ） (2024-04-26T06:00:27Z) - Generator Born from Classifier [66.56001246096002]
データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。
本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-12-05T03:41:17Z) - Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。
これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
論文 参考訳（メタデータ） (2023-06-23T15:07:01Z) - Active Inference-Based Optimization of Discriminative Neural Network
Classifiers [3.1219977244201056]
そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。
提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
論文 参考訳（メタデータ） (2023-06-04T19:30:28Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。
我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
論文 参考訳（メタデータ） (2022-02-08T18:08:24Z) - Multi-Fake Evolutionary Generative Adversarial Networks for Imbalance
Hyperspectral Image Classification [7.9067022260826265]
本稿では,不均衡なハイパースペクトル画像分類を扱うために,新しいマルチフェイク進化生成逆数ネットワークを提案する。
ジェネレータネットワークの分類性能を向上させるため、ジェネレータネットワークでは異なる生成目標損失が考慮される。
提案手法の有効性を2つの超スペクトル空間スペクトルデータセットを用いて検証した。
論文 参考訳（メタデータ） (2021-11-07T07:29:24Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z) - cGANs with Auxiliary Discriminative Classifier [43.78253518292111]
条件付き生成モデルは、データとラベルの基本的な結合分布を学習することを目的としている。
副分類器生成敵ネットワーク (AC-GAN) は広く用いられているが, 生成標本のクラス内多様性の低い問題に悩まされている。
本稿では,AC-GANの問題に対処するため,補助識別器(ADC-GAN)を用いた新しいcGANを提案する。
論文 参考訳（メタデータ） (2021-07-21T13:06:32Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。