論文の概要: Similarity of Pre-trained and Fine-tuned Representations

• arxiv url: http://arxiv.org/abs/2207.09225v1
• Date: Tue, 19 Jul 2022 12:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 12:55:33.396304
• Title: Similarity of Pre-trained and Fine-tuned Representations
• Title（参考訳）: 事前学習および微調整表現の類似性
• Authors: Thomas Goerttler and Klaus Obermayer
• Abstract要約: トランスファーラーニングでは、ネットワークの最後の部分(いわゆるヘッド)だけが微調整されることが多い。 数ショットの学習による最近の結果は、初期層における表現の変化は、主に畳み込み型であり、有益であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In transfer learning, only the last part of the networks - the so-called head - is often fine-tuned. Representation similarity analysis shows that the most significant change still occurs in the head even if all weights are updatable. However, recent results from few-shot learning have shown that representation change in the early layers, which are mostly convolutional, is beneficial, especially in the case of cross-domain adaption. In our paper, we find out whether that also holds true for transfer learning. In addition, we analyze the change of representation in transfer learning, both during pre-training and fine-tuning, and find out that pre-trained structure is unlearned if not usable.
• Abstract（参考訳）: 転送学習では、ネットワークの最後の部分(いわゆるヘッド)のみが、しばしば微調整される。 表現類似性分析は、たとえ全ての重みが上昇しても、最も大きな変化は頭の中で起こることを示している。 しかし、最近の数ショット学習の結果、特にクロスドメイン適応の場合、初期層における表現の変化は、主に畳み込み型であり、有益であることが示されている。 本論文では,それが転校学習にも当てはまるかどうかを考察する。 さらに, 事前学習と微調整の両方において, 伝達学習における表現の変化を分析し, 事前学習された構造が利用できないかどうかを確かめる。

関連論文リスト

• Understanding the Role of Invariance in Transfer Learning [9.220104991339104]
  トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
  論文  参考訳（メタデータ） (2024-07-05T07:53:52Z)
• What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation [7.432224771219168]
  Pretrain-finetuneパラダイムは、通常、同じタスクでモデルをスクラッチからトレーニングするよりも、下流のパフォーマンスを改善する。 本研究では,事前学習した視覚変換器とそれに対応する微調整バージョンとの関係を,複数のベンチマークデータセットとタスクで検討する。
  論文  参考訳（メタデータ） (2023-07-12T08:35:24Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• A study on the plasticity of neural networks [21.43675319928863]
  連続学習における可塑性の喪失の意味について論じる。 そこで本研究では,データ分布と微調整したデータから事前学習したモデルが,新たな初期化モデルと同じ一般化に到達しないことを示す。
  論文  参考訳（メタデータ） (2021-05-31T18:21:06Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Usable Information and Evolution of Optimal Representations During Training [79.38872675793813]
  特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。 文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
  論文  参考訳（メタデータ） (2020-10-06T03:50:19Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。