Fugu-MT 論文翻訳(概要): Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning

論文の概要: Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning

arxiv url: http://arxiv.org/abs/2102.05543v1
Date: Wed, 10 Feb 2021 16:29:03 GMT
ステータス: 処理完了
システム内更新日: 2021-02-11 14:34:25.552128
Title: Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning
Title（参考訳）: 部分輸血 : トランスファー学習におけるトレーニング可能なバッチ標準パラメータの表現的影響について
Authors: Fahdi Kanavati, Masayuki Tsuneki
Abstract要約: ImageNetからのトランスファーラーニングは、深層学習を医療画像に適用する際のゴートアプローチである。ほとんどのモダンアーキテクチャにはバッチの正規化レイヤが含まれており、そのようなレイヤでモデルを微調整するには、いくつかの注意が必要である。バッチ正規化レイヤのトレーニング可能な重みを微調整するだけで、すべての重みを微調整するのと同じようなパフォーマンスが得られることが分かりました。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning from ImageNet is the go-to approach when applying deep learning to medical images. The approach is either to fine-tune a pre-trained model or use it as a feature extractor. Most modern architecture contain batch normalisation layers, and fine-tuning a model with such layers requires taking a few precautions as they consist of trainable and non-trainable weights and have two operating modes: training and inference. Attention is primarily given to the non-trainable weights used during inference, as they are the primary source of unexpected behaviour or degradation in performance during transfer learning. It is typically recommended to fine-tune the model with the batch normalisation layers kept in inference mode during both training and inference. In this paper, we pay closer attention instead to the trainable weights of the batch normalisation layers, and we explore their expressive influence in the context of transfer learning. We find that only fine-tuning the trainable weights (scale and centre) of the batch normalisation layers leads to similar performance as to fine-tuning all of the weights, with the added benefit of faster convergence. We demonstrate this on a variety of seven publicly available medical imaging datasets, using four different model architectures.
Abstract（参考訳）: 医用画像にディープラーニングを適用する場合、ImageNetから学習を転送するアプローチです。アプローチは、事前訓練されたモデルを微調整するか、特徴抽出器として使用するかのどちらかである。ほとんどの現代的なアーキテクチャはバッチ正規化層を含み、そのような層でモデルを微調整するには、トレーニング可能な重みと訓練不能な重みで構成され、2つの操作モード(トレーニングと推論)を持つため、いくつかの注意が必要である。転送学習における予期せぬ振る舞いやパフォーマンスの低下の主な原因であるため、推論中に使用される非トレーニング可能な重みに注意が払われます。通常、トレーニングと推論の両方の間、推論モードで保持されるバッチ正規化層でモデルを微調整することが推奨される。本稿では,バッチ正規化層の学習可能な重みに代えて注意を払うとともに,伝達学習の文脈における表現的影響について検討する。バッチ正規化層の訓練可能な重み(スケールと中心)を微調整するだけで、すべての重みを微調整するのと同様のパフォーマンスが得られ、より高速な収束の利点が追加された。 4つの異なるモデルアーキテクチャを用いて、7つの医療用画像データセットでこれを実証した。

関連論文リスト

What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation [7.432224771219168]
Pretrain-finetuneパラダイムは、通常、同じタスクでモデルをスクラッチからトレーニングするよりも、下流のパフォーマンスを改善する。本研究では,事前学習した視覚変換器とそれに対応する微調整バージョンとの関係を,複数のベンチマークデータセットとタスクで検討する。
論文参考訳（メタデータ） (2023-07-12T08:35:24Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Pre-text Representation Transfer for Deep Learning with Limited Imbalanced Data : Application to CT-based COVID-19 Detection [18.72489078928417]
我々は、PRT(Pre-text Representation Transfer)という新しい概念を提案する。 PRTは元の分類層を保持し、教師なしのプレテキストタスクを通じて表現層を更新する。提案手法により,従来の移動学習よりも一貫した効果が得られた。
論文参考訳（メタデータ） (2023-01-21T04:47:35Z)
Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
論文参考訳（メタデータ） (2022-10-20T17:59:15Z)
Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文参考訳（メタデータ） (2022-10-09T02:32:57Z)
PatchNR: Learning from Small Data by Patch Normalizing Flow Regularization [57.37911115888587]
正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。 patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
論文参考訳（メタデータ） (2022-05-24T12:14:26Z)
How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文参考訳（メタデータ） (2021-11-26T11:58:51Z)
Non-binary deep transfer learning for imageclassification [1.858151490268935]
コンピュータビジョンタスクの現在の標準は、ImageNetのような大規模な画像分類データセットで事前訓練された重みを微調整することである。転送学習と転送学習の応用は、厳密に二分される傾向にある。 L2SPとL2正規化を組み合わせたノンバイナリトランスファー学習法を提案する。
論文参考訳（メタデータ） (2021-07-19T02:34:38Z)
Channel Scaling: A Scale-and-Select Approach for Transfer Learning [2.6304695993930594]
予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。本稿では,チャネルスケーリング層を導入して,ネットワークを効率的に構築する手法を提案する。このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。
論文参考訳（メタデータ） (2021-03-22T23:26:57Z)
Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文参考訳（メタデータ） (2021-02-08T03:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。