論文の概要: Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse
- arxiv url: http://arxiv.org/abs/2212.12206v1
- Date: Fri, 23 Dec 2022 08:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 16:08:23.106046
- Title: Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse
- Title(参考訳): 神経崩壊による深部モデルの原理的かつ効率的な伝達学習
- Authors: Xiao Li, Sheng Liu, Jinxin Zhou, Xinyu Lu, Carlos Fernandez-Granda,
Zhihui Zhu, Qing Qu
- Abstract要約: この研究は、神経崩壊(NC)と呼ばれる興味深い現象を通して、伝達学習の謎を掘り下げる
i) 事前学習時のモデル, クラス内変動の崩壊防止(ある程度)は, 入力データの内在的構造をよりよく保存し, モデル伝達性の向上につながること, (ii) 下流タスクの微調整モデルでは, 下流データ上でよりNCの高い特徴を得ることにより, 与えられたタスクの精度が向上すること, などである。
- 参考スコア(独自算出の注目度): 35.365366092030904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the ever-growing model size and the limited availability of labeled
training data, transfer learning has become an increasingly popular approach in
many science and engineering domains. For classification problems, this work
delves into the mystery of transfer learning through an intriguing phenomenon
termed neural collapse (NC), where the last-layer features and classifiers of
learned deep networks satisfy: (i) the within-class variability of the features
collapses to zero, and (ii) the between-class feature means are maximally and
equally separated. Through the lens of NC, our findings for transfer learning
are the following: (i) when pre-training models, preventing intra-class
variability collapse (to a certain extent) better preserves the intrinsic
structures of the input data, so that it leads to better model transferability;
(ii) when fine-tuning models on downstream tasks, obtaining features with more
NC on downstream data results in better test accuracy on the given task. The
above results not only demystify many widely used heuristics in model
pre-training (e.g., data augmentation, projection head, self-supervised
learning), but also leads to more efficient and principled fine-tuning method
on downstream tasks that we demonstrate through extensive experimental results.
- Abstract(参考訳): モデルのサイズが拡大し、ラベル付きトレーニングデータの可用性が限られているため、転校学習は多くの科学や工学領域で人気が高まっている。
分類問題では、この研究は、ニューラルネットワークの最後の層の特徴と分類器が満たされる、神経崩壊(NC)と呼ばれる興味深い現象を通じて、伝達学習の謎を掘り下げる。
(i)特徴のクラス内変動はゼロに崩壊し、
(ii)クラス間特徴手段は最大かつ等分される。
NCのレンズを通して、転写学習の知見は以下の通りである。
(i)事前訓練の際には、クラス内変動性の崩壊(ある程度)を防止し、入力データの本質的構造を良好に保ち、モデル転送性を向上させること。
(2) 下流タスクの微調整モデルにおいて、下流データでよりNCの高い機能を得ると、与えられたタスクに対するテスト精度が向上する。
以上の結果は,モデルの事前学習において広く用いられているヒューリスティック(データ拡張,投影ヘッド,自己教師付き学習など)の多くを損なうだけでなく,より効率的かつ原理的な下流タスクの微調整手法にもつながる。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳(メタデータ) (2022-06-30T14:24:32Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳(メタデータ) (2020-07-01T22:55:48Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳(メタデータ) (2020-06-16T22:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。