論文の概要: Resource-efficient domain adaptive pre-training for medical images
- arxiv url: http://arxiv.org/abs/2204.13280v1
- Date: Thu, 28 Apr 2022 04:29:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 15:31:26.603080
- Title: Resource-efficient domain adaptive pre-training for medical images
- Title（参考訳）: 医用画像のための資源効率の高いドメイン適応事前学習
- Authors: Yasar Mehmood, Usama Ijaz Bajwa, Xianfang Sun
- Abstract要約: 医用画像の深層学習に基づく分析は、高アノテーションコストとプライバシー上の懸念から、データの不足に悩まされている。
最近の研究では、ドメイン適応型事前学習(DAPT)を用いてこの問題に対処している。
本研究では,下流の精度と頑健さを損なうことなく,計算効率の良いDAPTを提案する。
- 参考スコア（独自算出の注目度）: 2.7163621600184773
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The deep learning-based analysis of medical images suffers from data scarcity
because of high annotation costs and privacy concerns. Researchers in this
domain have used transfer learning to avoid overfitting when using complex
architectures. However, the domain differences between pre-training and
downstream data hamper the performance of the downstream task. Some recent
studies have successfully used domain-adaptive pre-training (DAPT) to address
this issue. In DAPT, models are initialized with the generic dataset
pre-trained weights, and further pre-training is performed using a moderately
sized in-domain dataset (medical images). Although this technique achieved good
results for the downstream tasks in terms of accuracy and robustness, it is
computationally expensive even when the datasets for DAPT are moderately sized.
These compute-intensive techniques and models impact the environment negatively
and create an uneven playing field for researchers with limited resources. This
study proposed computationally efficient DAPT without compromising the
downstream accuracy and robustness. This study proposes three techniques for
this purpose, where the first (partial DAPT) performs DAPT on a subset of
layers. The second one adopts a hybrid strategy (hybrid DAPT) by performing
partial DAPT for a few epochs and then full DAPT for the remaining epochs. The
third technique performs DAPT on simplified variants of the base architecture.
The results showed that compared to the standard DAPT (full DAPT), the hybrid
DAPT technique achieved better performance on the development and external
datasets. In contrast, simplified architectures (after DAPT) achieved the best
robustness while achieving modest performance on the development dataset .
- Abstract（参考訳）: 深層学習に基づく医療画像の分析は、高いアノテーションコストとプライバシーの懸念から、データの不足に悩まされている。
このドメインの研究者たちは、複雑なアーキテクチャを使用する場合の過剰フィットを避けるために、転送学習を使ってきた。
しかし、事前トレーニングと下流データのドメイン差は、下流タスクのパフォーマンスを妨げます。
最近の研究ではドメイン適応型事前学習(DAPT)を用いてこの問題に対処している。
daptでは、モデルが一般的なデータセットで初期化され、適度なサイズのインドメインデータセット(医療画像)を使用してさらなる事前トレーニングが行われる。
この手法は, DAPTのデータセットが適度なサイズであっても, 精度とロバスト性の観点から, 下流タスクに対して良好な結果が得られるが, 計算コストが高い。
これらの計算集約的な手法とモデルは環境に悪影響を及ぼし、限られた資源を持つ研究者にとって不均一な遊び場を生み出す。
本研究は下流の精度とロバスト性を損なうことなく計算効率のよい dapt を提案した。
本研究は,第1部(部分DAPT)がレイヤのサブセット上でDAPTを行う3つの手法を提案する。
2つ目は、いくつかのエポックに対して部分DAPTを実行し、残りのエポックに対して完全なDAPTを実行するハイブリッド戦略(ハイブリッドDAPT)を採用する。
第3のテクニックは、ベースアーキテクチャの簡易な変形に対してDAPTを実行する。
その結果,標準DAPT (Full DAPT) と比較して,ハイブリッドDAPT技術は開発および外部データセットの性能が向上した。
対照的に、単純化されたアーキテクチャ(DAPT以降)は、開発データセットで控えめなパフォーマンスを達成しながら、最高の堅牢性を達成した。
関連論文リスト
- Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。
SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。
利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
論文 参考訳（メタデータ） (2024-11-24T13:49:29Z) - POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。
本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。
結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文 参考訳（メタデータ） (2024-09-30T16:05:29Z) - Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。
提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
論文 参考訳（メタデータ） (2024-06-11T07:32:25Z) - Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。
我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。
NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
論文 参考訳（メタデータ） (2023-12-21T02:48:44Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳（メタデータ） (2023-11-16T10:42:58Z) - Can pre-trained models assist in dataset distillation? [21.613468512330442]
事前訓練されたモデル(PTM)は知識リポジトリとして機能し、元のデータセットからの広範な情報を含んでいる。
PTMは、知識を合成データセットに効果的に転送し、DDを正確に導くことができますか?
我々は,初期化パラメータ,モデルアーキテクチャ,エポックトレーニング,ドメイン知識など,PTMのさまざまな選択肢を体系的に研究する。
論文 参考訳（メタデータ） (2023-10-05T03:51:21Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Domain Alignment Meets Fully Test-Time Adaptation [24.546705919244936]
デプロイされたMLモデルの基本的な要件は、トレーニングとは異なるテストディストリビューションから引き出されたデータに一般化することである。
本稿では,元のソースデータへのアクセスを制限した,この問題の難易度に焦点をあてる。
ソースデータ全体にアクセスする必要性を緩和し,UDAとFTTAを橋渡しする新しいアプローチCATTAnを提案する。
論文 参考訳（メタデータ） (2022-07-09T03:17:19Z) - Categorical EHR Imputation with Generative Adversarial Nets [11.171712535005357]
本稿では,データ計算のためのGANに関する従来の研究を基にした,シンプルで効果的な手法を提案する。
従来のデータ計算手法に比べて予測精度が大幅に向上していることを示す。
論文 参考訳（メタデータ） (2021-08-03T18:50:26Z) - An AI-Assisted Design Method for Topology Optimization Without
Pre-Optimized Training Data [68.8204255655161]
トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。
設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
論文 参考訳（メタデータ） (2020-12-11T14:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。