論文の概要: Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks

• arxiv url: http://arxiv.org/abs/2212.00771v1
• Date: Thu, 1 Dec 2022 18:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 15:19:48.531497
• Title: Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks
• Title（参考訳）: 残留畳み込みネットワークにおけるクラス適合様式の神経表現
• Authors: Micha{\l} Jamro\.z and Marcin Kurdziel
• Abstract要約: ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。 調査対象モデルのクラスは均一に適合していないことがわかった。 神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
• 参考スコア（独自算出の注目度）: 5.1271832547387115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We leverage probabilistic models of neural representations to investigate how residual networks fit classes. To this end, we estimate class-conditional density models for representations learned by deep ResNets. We then use these models to characterize distributions of representations across learned classes. Surprisingly, we find that classes in the investigated models are not fitted in an uniform way. On the contrary: we uncover two groups of classes that are fitted with markedly different distributions of representations. These distinct modes of class-fitting are evident only in the deeper layers of the investigated models, indicating that they are not related to low-level image features. We show that the uncovered structure in neural representations correlate with memorization of training examples and adversarial robustness. Finally, we compare class-conditional distributions of neural representations between memorized and typical examples. This allows us to uncover where in the network structure class labels arise for memorized and standard inputs.
• Abstract（参考訳）: 我々は,神経表現の確率モデルを用いて,残留ネットワークがクラスにどのように適合するかを調べる。 この目的のために,Deep ResNetsで学習した表現のクラス条件密度モデルを推定する。 次に、これらのモデルを用いて、学習クラス間の表現の分布を特徴づける。 驚くべきことに、調査対象モデルのクラスは均一な方法で適合していない。 反対に、表現の明らかに異なる分布に適合するクラスの2つの群を明らかにする。 これらのクラスフィッティングの異なるモードは、調査対象モデルの深い層にのみ明らかであり、低レベル画像の特徴とは無関係であることを示している。 神経表現の未発見構造は,訓練例の記憶と対向的強靭性との関連性を示す。 最後に、記憶された例と典型例のニューラル表現のクラス条件分布を比較した。 これにより、メモリ化および標準入力に対してネットワーク構造クラスラベルが生じる場所を明らかにすることができる。

関連論文リスト

• Context-Specific Refinements of Bayesian Network Classifiers [1.9136291802656262]
  分類器の新しいクラスとベイズネットワークの関係について検討する。 モデルにデータ駆動学習ルーチンを導入し実装する。 この研究は、非対称情報を埋め込んだモデルが分類精度を高めることを実証している。
  論文  参考訳（メタデータ） (2024-05-28T15:50:50Z)
• Probing clustering in neural network representations [30.640266399583613]
  ニューラルネットワークトレーニングにおける多くの設計選択が、隠れた表現で形成されたクラスタにどのように影響するかを検討する。 トレーニングデータセットとアーキテクチャを、クラスタビリティに影響を及ぼす重要な要因として分離します。 正規化戦略はどの層が最高のクラスタリング性能をもたらすかに影響します。
  論文  参考訳（メタデータ） (2023-11-14T02:33:54Z)
• Diffusion Models Beat GANs on Image Classification [37.70821298392606]
  拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• On the Role of Neural Collapse in Transfer Learning [29.972063833424215]
  近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。 神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
  論文  参考訳（メタデータ） (2021-12-30T16:36:26Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Classify and Generate: Using Classification Latent Space Representations for Image Generations [17.184760662429834]
  本稿では,操作された教師付き潜在表現を用いて,与えられたクラスに属する新しいサンプルを再構成・生成する識別モデリングフレームワークを提案する。 ReGeneは、既存の条件生成モデルよりも高い分類精度を持ち、FIDの点で競争力がある。
  論文  参考訳（メタデータ） (2020-04-16T09:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。