論文の概要: Why does my medical AI look at pictures of birds? Exploring the efficacy of transfer learning across domain boundaries

• arxiv url: http://arxiv.org/abs/2306.17555v1
• Date: Fri, 30 Jun 2023 11:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 12:43:25.490836
• Title: Why does my medical AI look at pictures of birds? Exploring the efficacy of transfer learning across domain boundaries
• Title（参考訳）: なぜ私の医療用AIは鳥の写真を見るのか? 領域境界を越えた伝達学習の有効性の探索
• Authors: Frederic Jonske, Moon Kim, Enrico Nasca, Janis Evers, Johannes Haubold, Ren\'e Hosch, Felix Nensa, Michael Kamp, Constantin Seibold, Jan Egger, Jens Kleesiek
• Abstract要約: ダウンストリームタスクのドメインからのデータに対する事前トレーニングは、ほとんどの場合、ImageNetプリトレーニングされたモデルよりも好まれるべきである。 RadNet-12Mは,1200万以上のCT画像スライスを含むデータセットである。 実験では、ドメイン内およびクロスドメイン転送シナリオ、データスケールの変化、微調整と線形評価、特徴空間解析について検討した。
• 参考スコア（独自算出の注目度）: 3.259272366439713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is an open secret that ImageNet is treated as the panacea of pretraining. Particularly in medical machine learning, models not trained from scratch are often finetuned based on ImageNet-pretrained models. We posit that pretraining on data from the domain of the downstream task should almost always be preferred instead. We leverage RadNet-12M, a dataset containing more than 12 million computed tomography (CT) image slices, to explore the efficacy of self-supervised pretraining on medical and natural images. Our experiments cover intra- and cross-domain transfer scenarios, varying data scales, finetuning vs. linear evaluation, and feature space analysis. We observe that intra-domain transfer compares favorably to cross-domain transfer, achieving comparable or improved performance (0.44% - 2.07% performance increase using RadNet pretraining, depending on the experiment) and demonstrate the existence of a domain boundary-related generalization gap and domain-specific learned features.
• Abstract（参考訳）: imagenetが事前トレーニングのpanaceaとして扱われていることは、公然の秘密である。 特に医療機械学習では、スクラッチからトレーニングされていないモデルは、ImageNetで事前訓練されたモデルに基づいて微調整されることが多い。 ダウンストリームタスクのドメインからのデータに対する事前トレーニングは、ほぼ常に好まれるべきであると仮定する。 我々は,1200万以上のCT画像スライスを含むRadNet-12Mを用いて,医用および自然画像に対する自己教師付き事前トレーニングの有効性を検討する。 実験は、ドメイン内およびドメイン間転送シナリオ、データスケールの変動、微調整と線形評価、特徴空間分析を対象とする。 ドメイン内転送はドメイン間転送に好適に比較し,RadNetプリトレーニングによる性能向上(0.44%～2.07%)を実現し,ドメイン境界関連一般化ギャップとドメイン固有の学習機能の存在を実証する。

関連論文リスト

• MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains [52.612507614610244]
  我々は、モーメントコントラスト(MoCo)プレトレーニングからデータ制限のある設定への自己教師付きコントラスト表現の転送の利点を分析する。 ラベル付きおよびラベルなしデータの量によっては、より大きなアウト・オブ・ディストリビューションデータセットでの対照的な事前トレーニングは、ドメイン内でのMoCoの事前トレーニングよりも、ほぼ同等か、あるいはそれ以上のパフォーマンスが期待できる。
  論文  参考訳（メタデータ） (2023-11-15T21:56:47Z)
• Performance of GAN-based augmentation for deep learning COVID-19 image classification [57.1795052451257]
  ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。 データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。 本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
  論文  参考訳（メタデータ） (2023-04-18T15:39:58Z)
• Revisiting Hidden Representations in Transfer Learning for Medical Imaging [2.4545492329339815]
  7つの医学分類課題について,ImageNetとRadImageNetを比較した。 その結果,ImageNetとRadImageNetは直感とは対照的に,異なる中間表現に収束する可能性が示唆された。 その結果, ネットワーク間の微調整前後の類似性は, 性能向上と相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-02-16T13:04:59Z)
• Using Language to Extend to Unseen Domains [81.37175826824625]
  ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。 トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。 共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
  論文  参考訳（メタデータ） (2022-10-18T01:14:02Z)
• Learning from few examples: Classifying sex from retinal images via deep learning [3.9146761527401424]
  基礎画像から患者の性別を分類するために,小データセット上でのDLの性能について紹介する。 約2500基の画像を用いて開発した本モデルでは,最大0.72点のAUCスコアが得られた。 これは、データセットサイズが1000倍近く減少しているにもかかわらず、わずか25%のパフォーマンス低下に相当する。
  論文  参考訳（メタデータ） (2022-07-20T02:47:29Z)
• Semantic-aware Dense Representation Learning for Remote Sensing Image Change Detection [20.761672725633936]
  ディープラーニングに基づく変化検出モデルのトレーニングはラベル付きデータに大きく依存する。 最近のトレンドは、リモートセンシング(RS)データを使用して、教師付きまたは自己教師型学習(SSL)を通じてドメイン内表現を取得することである。 複数のクラスバランス点をサンプリングし,RS画像CDに対する意味認識事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-27T06:08:33Z)
• Unsupervised Domain Adaptation with Contrastive Learning for OCT Segmentation [49.59567529191423]
  本稿では,新しい未ラベル領域からのボリューム画像のセグメンテーションのための,新しい半教師付き学習フレームワークを提案する。 教師付き学習とコントラスト学習を併用し、3次元の近傍スライス間の類似性を利用したコントラストペア方式を導入する。
  論文  参考訳（メタデータ） (2022-03-07T19:02:26Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• A Systematic Benchmarking Analysis of Transfer Learning for Medical Image Analysis [7.339428207644444]
  我々は,最新の大規模きめ細かいデータセットであるiNat2021で事前訓練されたモデルの転送可能性について,系統的研究を行った。 本稿では,医用画像上のイメージネットモデルを継続的に(事前学習)することにより,自然画像と医用画像の領域ギャップを埋める実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-12T19:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。