論文の概要: MetaLR: Layer-wise Learning Rate based on Meta-Learning for Adaptively
Fine-tuning Medical Pre-trained Models
- arxiv url: http://arxiv.org/abs/2206.01408v1
- Date: Fri, 3 Jun 2022 06:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 01:25:07.390722
- Title: MetaLR: Layer-wise Learning Rate based on Meta-Learning for Adaptively
Fine-tuning Medical Pre-trained Models
- Title（参考訳）: メタLR: 適応的微調整医療予習モデルのためのメタラーニングに基づく階層学習率
- Authors: Yixiong Chen, Jingxian Li, Hua Jiang, Li Liu, Chris Ding
- Abstract要約: 従来の微調整手法では、すべてのディープニューラルネットワーク(DNN)層を1つの学習レート(LR)で更新する。
本研究では,微調整段階における異なる層の挙動について検討する。
トレーニング済みの特定のレイヤが一般的なレイヤよりも新しいタスクに移行するのは困難です。
メタラーニングに基づくLR学習者,すなわちメタLRを提案し,各層にLRを自動的に割り当てる。
- 参考スコア（独自算出の注目度）: 17.74506664417939
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When applying transfer learning for medical image analysis, downstream tasks
often have significant gaps with the pre-training tasks. Previous methods
mainly focus on improving the transferabilities of the pre-trained models to
bridge the gaps. In fact, model fine-tuning can also play a very important role
in tackling this problem. A conventional fine-tuning method is updating all
deep neural networks (DNNs) layers by a single learning rate (LR), which
ignores the unique transferabilities of different layers. In this work, we
explore the behaviors of different layers in the fine-tuning stage. More
precisely, we first hypothesize that lower-level layers are more
domain-specific while higher-level layers are more task-specific, which is
verified by a simple bi-directional fine-tuning scheme. It is harder for the
pre-trained specific layers to transfer to new tasks than general layers. On
this basis, to make different layers better co-adapt to the downstream tasks
according to their transferabilities, a meta-learning-based LR learner, namely
MetaLR, is proposed to assign LRs for each layer automatically. Extensive
experiments on various medical applications (i.e., POCUS, BUSI, Chest X-ray,
and LiTS) well confirm our hypothesis and show the superior performance of the
proposed methods to previous state-of-the-art fine-tuning methods.
- Abstract（参考訳）: 医用画像解析に転写学習を適用する場合、下流タスクはトレーニング前のタスクと大きなギャップを持つことが多い。
従来の方法は、主にギャップを埋めるために事前訓練されたモデルの転送能力を改善することに重点を置いていた。
実際、モデルの微調整はこの問題に取り組む上で非常に重要な役割を果たす。
従来の微調整手法では、異なるレイヤのユニークな転送能力を無視した1つの学習レート(LR)で、ディープニューラルネットワーク(DNN)層を更新する。
本研究では,微調整段階における異なる層の挙動について検討する。
より正確には、我々はまず、下位層はよりドメイン固有であり、上位層はよりタスク固有であると仮定し、単純な双方向微調整方式で検証する。
トレーニング済みの特定のレイヤが一般的なレイヤよりも新しいタスクに移行するのは困難です。
そこで本研究では,各層にLRを自動的に割り当てるメタ学習型LR学習器,メタLRを提案する。
様々な医療応用(pocus, busi, chest x-ray, lits)に関する広範囲な実験により,提案手法が従来法よりも優れた性能を示した。
関連論文リスト
- Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳（メタデータ） (2023-03-17T18:00:27Z) - Generating and Weighting Semantically Consistent Sample Pairs for
Ultrasound Contrastive Learning [10.631361618707214]
よく注釈付けされた医療データセットにより、ディープニューラルネットワーク(DNN)は、病変に関連する特徴を抽出する上で強力なパワーを得ることができる。
ImageNetに基づくモデル事前トレーニングは、データ量に制限がある場合に、より良い一般化を得るための一般的なプラクティスである。
本研究では,医療用USアプリケーションの領域ギャップを低減するために,ImageNetの代わりに超音波(US)ドメインを事前訓練する。
論文 参考訳（メタデータ） (2022-12-08T06:24:08Z) - Few-Shot Classification of Skin Lesions from Dermoscopic Images by
Meta-Learning Representative Embeddings [1.957558771641347]
稀な疾患と新規疾患の診断のための注釈付き画像と根拠真理は乏しい。
少ないショットラーニングとメタラーニングは、低いデータレシエーションでうまく機能することを目指して、これらの問題を克服することを目的としている。
本稿では,皮膚内視鏡画像の分類におけるメタラーニングの改善に焦点をあてる。
論文 参考訳（メタデータ） (2022-10-30T21:27:15Z) - Unsupervised Domain Adaptation Using Feature Disentanglement And GCNs
For Medical Image Classification [5.6512908295414]
本稿では,グラフニューラルネットワークを用いた教師なし領域適応手法を提案する。
分布シフトを伴う2つの挑戦的医用画像データセットの分類法について検討した。
実験により,本手法は他の領域適応法と比較して最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2022-06-27T09:02:16Z) - Medulloblastoma Tumor Classification using Deep Transfer Learning with
Multi-Scale EfficientNets [63.62764375279861]
本稿では,エンド・ツー・エンドのMB腫瘍分類を提案し,様々な入力サイズとネットワーク次元の一致した移動学習を提案する。
161ケースのデータセットを用いて、より大規模な入力解像度を持つ事前学習されたEfficientNetが、大幅な性能改善をもたらすことを実証した。
論文 参考訳（メタデータ） (2021-09-10T13:07:11Z) - Anatomy of Domain Shift Impact on U-Net Layers in MRI Segmentation [0.08156494881838945]
SpotTUnetはCNNアーキテクチャであり、最適に微調整されるべきレイヤを自動的に選択する。
本手法は,アノテートデータの極端な不足下においても,非フレキシブル微調整法と同等の精度で動作可能であることを示す。
論文 参考訳（メタデータ） (2021-07-10T21:13:55Z) - Domain Generalization on Medical Imaging Classification using Episodic
Training with Task Augmentation [62.49837463676111]
本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。
実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
論文 参考訳（メタデータ） (2021-06-13T03:56:59Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。