論文の概要: MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging

• arxiv url: http://arxiv.org/abs/2206.01408v2
• Date: Mon, 29 May 2023 10:35:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 04:20:42.648273
• Title: MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
• Title（参考訳）: metalr: 医療画像におけるトランスファー学習の学習率のメタチューニング
• Authors: Yixiong Chen, Li Liu, Jingxian Li, Hua Jiang, Chris Ding, Zongwei Zhou
• Abstract要約: 転送学習は、限られた医療データに基づいて、ディープニューラルネットワーク(DNN)をうまく一般化するための強力な方法である。 本研究では,メタ学習に基づくLRチューナであるMetaLRを提案する。 様々な医学応用に関する大規模な実験により、MetaLRは従来のSOTA(State-of-the-art)ファインチューニング戦略よりも優れていたことが示されている。
• 参考スコア（独自算出の注目度）: 22.203645869758155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In medical image analysis, transfer learning is a powerful method for deep neural networks (DNNs) to generalize well on limited medical data. Prior efforts have focused on developing pre-training algorithms on domains such as lung ultrasound, chest X-ray, and liver CT to bridge domain gaps. However, we find that model fine-tuning also plays a crucial role in adapting medical knowledge to target tasks. The common fine-tuning method is manually picking transferable layers (e.g., the last few layers) to update, which is labor-expensive. In this work, we propose a meta-learning-based LR tuner, named MetaLR, to make different layers automatically co-adapt to downstream tasks based on their transferabilities across domains. MetaLR learns appropriate LRs for different layers in an online manner, preventing highly transferable layers from forgetting their medical representation abilities and driving less transferable layers to adapt actively to new domains. Extensive experiments on various medical applications show that MetaLR outperforms previous state-of-the-art (SOTA) fine-tuning strategies. Codes are released.
• Abstract（参考訳）: 医用画像解析において、転送学習は、限られた医療データに基づいてよく一般化するディープニューラルネットワーク(DNN)の強力な方法である。 これまでの取り組みは, 肺超音波, 胸部X線, 肝CTなどの領域の領域間隙を埋める事前訓練アルゴリズムの開発に重点を置いてきた。 しかし, モデル微調整は, 課題に医療知識を適応させる上でも重要な役割を担っている。 一般的な微調整方法は、手動で転送可能な層(例えば最後の数層)を選択して更新することである。 本研究では,メタ学習に基づくLRチューナであるMetaLRを提案する。 MetaLRは、異なるレイヤに対する適切なLRをオンラインで学習し、高度に転送可能なレイヤが、医療的な表現能力を忘れて、新しいドメインに積極的に適応するために、転送可能なレイヤを駆動するのを防ぐ。 様々な医学応用に関する大規模な実験により、MetaLRは従来のSOTA(State-of-the-art)ファインチューニング戦略よりも優れていることが示された。 コードはリリースされている。

関連論文リスト

• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning [10.631361618707214]
  よく注釈付けされた医療データセットにより、ディープニューラルネットワーク(DNN)は、病変に関連する特徴を抽出する上で強力なパワーを得ることができる。 ImageNetに基づくモデル事前トレーニングは、データ量に制限がある場合に、より良い一般化を得るための一般的なプラクティスである。 本研究では,医療用USアプリケーションの領域ギャップを低減するために,ImageNetの代わりに超音波(US)ドメインを事前訓練する。
  論文  参考訳（メタデータ） (2022-12-08T06:24:08Z)
• Few-Shot Classification of Skin Lesions from Dermoscopic Images by Meta-Learning Representative Embeddings [1.957558771641347]
  稀な疾患と新規疾患の診断のための注釈付き画像と根拠真理は乏しい。 少ないショットラーニングとメタラーニングは、低いデータレシエーションでうまく機能することを目指して、これらの問題を克服することを目的としている。 本稿では,皮膚内視鏡画像の分類におけるメタラーニングの改善に焦点をあてる。
  論文  参考訳（メタデータ） (2022-10-30T21:27:15Z)
• Unsupervised Domain Adaptation Using Feature Disentanglement And GCNs For Medical Image Classification [5.6512908295414]
  本稿では,グラフニューラルネットワークを用いた教師なし領域適応手法を提案する。 分布シフトを伴う2つの挑戦的医用画像データセットの分類法について検討した。 実験により,本手法は他の領域適応法と比較して最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-06-27T09:02:16Z)
• Medulloblastoma Tumor Classification using Deep Transfer Learning with Multi-Scale EfficientNets [63.62764375279861]
  本稿では,エンド・ツー・エンドのMB腫瘍分類を提案し,様々な入力サイズとネットワーク次元の一致した移動学習を提案する。 161ケースのデータセットを用いて、より大規模な入力解像度を持つ事前学習されたEfficientNetが、大幅な性能改善をもたらすことを実証した。
  論文  参考訳（メタデータ） (2021-09-10T13:07:11Z)
• Anatomy of Domain Shift Impact on U-Net Layers in MRI Segmentation [0.08156494881838945]
  SpotTUnetはCNNアーキテクチャであり、最適に微調整されるべきレイヤを自動的に選択する。 本手法は,アノテートデータの極端な不足下においても,非フレキシブル微調整法と同等の精度で動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-10T21:13:55Z)
• Domain Generalization on Medical Imaging Classification using Episodic Training with Task Augmentation [62.49837463676111]
  本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。 実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
  論文  参考訳（メタデータ） (2021-06-13T03:56:59Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。