論文の概要: Partial transfusion: on the expressive influence of trainable batch norm
parameters for transfer learning
- arxiv url: http://arxiv.org/abs/2102.05543v1
- Date: Wed, 10 Feb 2021 16:29:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:34:25.552128
- Title: Partial transfusion: on the expressive influence of trainable batch norm
parameters for transfer learning
- Title（参考訳）: 部分輸血 : トランスファー学習におけるトレーニング可能なバッチ標準パラメータの表現的影響について
- Authors: Fahdi Kanavati, Masayuki Tsuneki
- Abstract要約: ImageNetからのトランスファーラーニングは、深層学習を医療画像に適用する際のゴートアプローチである。
ほとんどのモダンアーキテクチャにはバッチの正規化レイヤが含まれており、そのようなレイヤでモデルを微調整するには、いくつかの注意が必要である。
バッチ正規化レイヤのトレーニング可能な重みを微調整するだけで、すべての重みを微調整するのと同じようなパフォーマンスが得られることが分かりました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning from ImageNet is the go-to approach when applying deep
learning to medical images. The approach is either to fine-tune a pre-trained
model or use it as a feature extractor. Most modern architecture contain batch
normalisation layers, and fine-tuning a model with such layers requires taking
a few precautions as they consist of trainable and non-trainable weights and
have two operating modes: training and inference. Attention is primarily given
to the non-trainable weights used during inference, as they are the primary
source of unexpected behaviour or degradation in performance during transfer
learning. It is typically recommended to fine-tune the model with the batch
normalisation layers kept in inference mode during both training and inference.
In this paper, we pay closer attention instead to the trainable weights of the
batch normalisation layers, and we explore their expressive influence in the
context of transfer learning. We find that only fine-tuning the trainable
weights (scale and centre) of the batch normalisation layers leads to similar
performance as to fine-tuning all of the weights, with the added benefit of
faster convergence. We demonstrate this on a variety of seven publicly
available medical imaging datasets, using four different model architectures.
- Abstract（参考訳）: 医用画像にディープラーニングを適用する場合、ImageNetから学習を転送するアプローチです。
アプローチは、事前訓練されたモデルを微調整するか、特徴抽出器として使用するかのどちらかである。
ほとんどの現代的なアーキテクチャはバッチ正規化層を含み、そのような層でモデルを微調整するには、トレーニング可能な重みと訓練不能な重みで構成され、2つの操作モード(トレーニングと推論)を持つため、いくつかの注意が必要である。
転送学習における予期せぬ振る舞いやパフォーマンスの低下の主な原因であるため、推論中に使用される非トレーニング可能な重みに注意が払われます。
通常、トレーニングと推論の両方の間、推論モードで保持されるバッチ正規化層でモデルを微調整することが推奨される。
本稿では,バッチ正規化層の学習可能な重みに代えて注意を払うとともに,伝達学習の文脈における表現的影響について検討する。
バッチ正規化層の訓練可能な重み(スケールと中心)を微調整するだけで、すべての重みを微調整するのと同様のパフォーマンスが得られ、より高速な収束の利点が追加された。
4つの異なるモデルアーキテクチャを用いて、7つの医療用画像データセットでこれを実証した。
関連論文リスト
- TrAct: Making First-layer Pre-Activations Trainable [65.40281259525578]
視覚モデルの第1層の訓練について検討し、画素値と更新等級の関係を明確にする。
コントラストの低い画像は、高いコントラストのイメージよりも学習への影響が小さい。
非常に明るい、または非常に暗い画像は、適度な明るさのイメージよりも重量に強い影響を与える。
論文 参考訳（メタデータ） (2024-10-31T14:25:55Z) - Efficient Training with Denoised Neural Weights [65.14892033932895]
この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。
本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。
拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
論文 参考訳（メタデータ） (2024-07-16T17:59:42Z) - Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。
人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。
本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T02:02:57Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳（メタデータ） (2023-10-19T17:57:16Z) - What Happens During Finetuning of Vision Transformers: An Invariance
Based Investigation [7.432224771219168]
Pretrain-finetuneパラダイムは、通常、同じタスクでモデルをスクラッチからトレーニングするよりも、下流のパフォーマンスを改善する。
本研究では,事前学習した視覚変換器とそれに対応する微調整バージョンとの関係を,複数のベンチマークデータセットとタスクで検討する。
論文 参考訳（メタデータ） (2023-07-12T08:35:24Z) - Pre-text Representation Transfer for Deep Learning with Limited
Imbalanced Data : Application to CT-based COVID-19 Detection [18.72489078928417]
我々は、PRT(Pre-text Representation Transfer)という新しい概念を提案する。
PRTは元の分類層を保持し、教師なしのプレテキストタスクを通じて表現層を更新する。
提案手法により,従来の移動学習よりも一貫した効果が得られた。
論文 参考訳（メタデータ） (2023-01-21T04:47:35Z) - Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。
本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
論文 参考訳（メタデータ） (2022-10-20T17:59:15Z) - PatchNR: Learning from Small Data by Patch Normalizing Flow
Regularization [57.37911115888587]
正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。
patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
論文 参考訳（メタデータ） (2022-05-24T12:14:26Z) - Non-binary deep transfer learning for imageclassification [1.858151490268935]
コンピュータビジョンタスクの現在の標準は、ImageNetのような大規模な画像分類データセットで事前訓練された重みを微調整することである。
転送学習と転送学習の応用は、厳密に二分される傾向にある。
L2SPとL2正規化を組み合わせたノンバイナリトランスファー学習法を提案する。
論文 参考訳（メタデータ） (2021-07-19T02:34:38Z) - Channel Scaling: A Scale-and-Select Approach for Transfer Learning [2.6304695993930594]
予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。
本稿では,チャネルスケーリング層を導入して,ネットワークを効率的に構築する手法を提案する。
このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。
論文 参考訳（メタデータ） (2021-03-22T23:26:57Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳（メタデータ） (2021-02-08T03:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。