論文の概要: Restoring Neural Network Plasticity for Faster Transfer Learning

• arxiv url: http://arxiv.org/abs/2603.20860v1
• Date: Sat, 21 Mar 2026 15:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.124251
• Title: Restoring Neural Network Plasticity for Faster Transfer Learning
• Title（参考訳）: 高速トランスファー学習のための回復型ニューラルネットワークの塑性
• Authors: Xander Coetzer, Arné Schreuder, Anna Sergeevna Bosman,
• Abstract要約: トランスファーラーニング(Transfer learning)とは、下流タスクにおけるニューラルネットワークの微調整前の重み付けのこと。 そこで本研究では,神経可塑性を微調整前に復元するための目標重量再初期化戦略を提案する。 我々の実験は、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の両方がこのアプローチの恩恵を受けていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning with models pretrained on ImageNet has become a standard practice in computer vision. Transfer learning refers to fine-tuning pretrained weights of a neural network on a downstream task, typically unrelated to ImageNet. However, pretrained weights can become saturated and may yield insignificant gradients, failing to adapt to the downstream task. This hinders the ability of the model to train effectively, and is commonly referred to as loss of neural plasticity. Loss of plasticity may prevent the model from fully adapting to the target domain, especially when the downstream dataset is atypical in nature. While this issue has been widely explored in continual learning, it remains relatively understudied in the context of transfer learning. In this work, we propose the use of a targeted weight re-initialization strategy to restore neural plasticity prior to fine-tuning. Our experiments show that both convolutional neural networks (CNNs) and vision transformers (ViTs) benefit from this approach, yielding higher test accuracy with faster convergence on several image classification benchmarks. Our method introduces negligible computational overhead and is compatible with common transfer learning pipelines.
• Abstract（参考訳）: ImageNetで事前訓練されたモデルによるトランスファーラーニングは、コンピュータビジョンにおける標準的実践となっている。 トランスファーラーニング(Transfer learning)とは、ニューラルネットワークが下流のタスク(典型的にはImageNetとは無関係)でトレーニング済みの微調整の重みである。 しかし、事前訓練された重量は飽和し、重要な勾配を生じ、下流の作業に適応できない可能性がある。 これにより、モデルが効果的に訓練する能力が損なわれ、一般に神経可塑性の喪失と呼ばれる。 可塑性の喪失は、特に下流データセットが本質的に非典型的である場合、モデルがターゲット領域に完全に適応することを妨げる可能性がある。 この問題は連続的な学習において広く研究されてきたが、伝達学習の文脈では比較的研究されていない。 そこで本研究では,神経可塑性を微調整前に回復するための目標重量再初期化戦略を提案する。 我々の実験は、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の両方がこのアプローチの恩恵を受けており、複数の画像分類ベンチマークにおいてより高速な収束で高いテスト精度が得られることを示した。 提案手法では,計算オーバーヘッドが無視可能であり,共通の転送学習パイプラインと互換性がある。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• On the interplay between physical and content priors in deep learning for computational imaging [5.486833154281385]
  我々は、レンズレス位相イメージングシステムにおいて、位相抽出ニューラルネットワーク(PhENN)を用いて定量的位相検索を行う。 2つの質問が関連していることを示し、トレーニング例の選択という共通点を共有します。 また, より弱い正規化効果により, 基礎となる伝搬モデルの学習性が向上することが判明した。
  論文  参考訳（メタデータ） (2020-04-14T08:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。