論文の概要: Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains

• arxiv url: http://arxiv.org/abs/2402.18614v1
• Date: Wed, 28 Feb 2024 15:52:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 17:00:38.224811
• Title: Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains
• Title（参考訳）: 固定型ランダム分類器で学習したディープニューラルネットワークモデル
• Authors: Hafiz Tiomoko Ali, Umberto Michieli, Ji Joong Moon, Daehyun Kim, Mete Ozay
• Abstract要約: 最近発見されたニューラル崩壊(NC)現象は、ディープ・ニューラル・ニューラルネットワークの最後の層重みが、訓練の最終段階において、いわゆるEquiangular Tight Frame (ETF) Simplexに収束することを示している。 NC特性にインスパイアされた本論文では,最終層重みをETFにより固定したDNNモデルの伝達性について検討する。
• 参考スコア（独自算出の注目度）: 23.10912424714101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recently discovered Neural collapse (NC) phenomenon states that the last-layer weights of Deep Neural Networks (DNN), converge to the so-called Equiangular Tight Frame (ETF) simplex, at the terminal phase of their training. This ETF geometry is equivalent to vanishing within-class variability of the last layer activations. Inspired by NC properties, we explore in this paper the transferability of DNN models trained with their last layer weight fixed according to ETF. This enforces class separation by eliminating class covariance information, effectively providing implicit regularization. We show that DNN models trained with such a fixed classifier significantly improve transfer performance, particularly on out-of-domain datasets. On a broad range of fine-grained image classification datasets, our approach outperforms i) baseline methods that do not perform any covariance regularization (up to 22%), as well as ii) methods that explicitly whiten covariance of activations throughout training (up to 19%). Our findings suggest that DNNs trained with fixed ETF classifiers offer a powerful mechanism for improving transfer learning across domains.
• Abstract（参考訳）: 最近発見されたニューラルネットワーク崩壊(nc)現象は、ディープニューラルネットワーク(dnn)の最終層重みがトレーニングの終了段階で、いわゆる等角タイトフレーム(etf)に収束することを示している。 このETF幾何は、最後の層アクティベーションのクラス内変数の消滅と等価である。 NC特性にインスパイアされた本論文では,最終層重みをETFにより固定したDNNモデルの伝達性について検討する。 これにより、クラス共分散情報を排除してクラス分離を強制し、暗黙の正規化を効果的に提供する。 このような固定分類器で訓練されたDNNモデルは、特にドメイン外のデータセットにおいて、転送性能を大幅に向上することを示す。 きめ細かな画像分類データセットの幅広い範囲について、我々のアプローチは優れている 一 共分散規則化を行わない基準法(最大二2%)及び 二 訓練中において、アクティベーションの共分散を明示的に白くする方法(19%まで) 固定ETF分類器で訓練したDNNは、ドメイン間の移動学習を改善するための強力なメカニズムを提供する。

関連論文リスト

• DCNN: Dual Cross-current Neural Networks Realized Using An Interactive Deep Learning Discriminator for Fine-grained Objects [48.65846477275723]
  本研究では、微細な画像分類の精度を向上させるために、新しい二重電流ニューラルネットワーク(DCNN)を提案する。 弱い教師付き学習バックボーンモデルを構築するための新しい特徴として、(a)異種データの抽出、(b)特徴マップの解像度の維持、(c)受容領域の拡大、(d)グローバル表現と局所特徴の融合などがある。
  論文  参考訳（メタデータ） (2024-05-07T07:51:28Z)
• A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
  グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。 提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-22T12:17:32Z)
• On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
  クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。 そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。 同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:56:35Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• One Versus all for deep Neural Network Incertitude (OVNNI) quantification [12.734278426543332]
  本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。 本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
  論文  参考訳（メタデータ） (2020-06-01T14:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。