論文の概要: Block Expanded DINORET: Adapting Natural Domain Foundation Models for Retinal Imaging Without Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2409.17332v1
• Date: Wed, 25 Sep 2024 20:17:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-30 12:15:34.922067
• Title: Block Expanded DINORET: Adapting Natural Domain Foundation Models for Retinal Imaging Without Catastrophic Forgetting
• Title（参考訳）: 拡張ブロックDINORET : 破壊的形成を伴わない網膜イメージングのための自然ドメインモデルへの適応
• Authors: Jay Zoellin, Colin Merk, Mischa Buob, Amr Saad, Samuel Giesser, Tahm Spitznagel, Ferhat Turgut, Rui Santos, Yukun Zhou, Sigfried Wagner, Pearse A. Keane, Yih Chung Tham, Delia Cabrera DeBuc, Matthias D. Becker, Gabor M. Somfai,
• Abstract要約: 我々はDINOv2視覚変換器を自己教師あり学習を用いた網膜画像分類タスクに適用した。 DINORETとBE DINORETという2つの新しい基礎モデルを生成した。 データ効率ではDINORETとBE DINORETがRETFoundより優れていた。
• 参考スコア（独自算出の注目度）: 1.2573191100165562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating deep learning into medical imaging is poised to greatly advance diagnostic methods but it faces challenges with generalizability. Foundation models, based on self-supervised learning, address these issues and improve data efficiency. Natural domain foundation models show promise for medical imaging, but systematic research evaluating domain adaptation, especially using self-supervised learning and parameter-efficient fine-tuning, remains underexplored. Additionally, little research addresses the issue of catastrophic forgetting during fine-tuning of foundation models. We adapted the DINOv2 vision transformer for retinal imaging classification tasks using self-supervised learning and generated two novel foundation models termed DINORET and BE DINORET. Publicly available color fundus photographs were employed for model development and subsequent fine-tuning for diabetic retinopathy staging and glaucoma detection. We introduced block expansion as a novel domain adaptation strategy and assessed the models for catastrophic forgetting. Models were benchmarked to RETFound, a state-of-the-art foundation model in ophthalmology. DINORET and BE DINORET demonstrated competitive performance on retinal imaging tasks, with the block expanded model achieving the highest scores on most datasets. Block expansion successfully mitigated catastrophic forgetting. Our few-shot learning studies indicated that DINORET and BE DINORET outperform RETFound in terms of data-efficiency. This study highlights the potential of adapting natural domain vision models to retinal imaging using self-supervised learning and block expansion. BE DINORET offers robust performance without sacrificing previously acquired capabilities. Our findings suggest that these methods could enable healthcare institutions to develop tailored vision models for their patient populations, enhancing global healthcare inclusivity.
• Abstract（参考訳）: 深層学習を医用画像に統合することは、診断方法を大幅に進歩させるが、一般化性の問題に直面している。 自己教師型学習に基づくファンデーションモデルは、これらの問題に対処し、データ効率を改善する。 自然領域基盤モデルは医用画像の可能性を示唆するが、特に自己教師付き学習とパラメータ効率の良い微調整を用いて、領域適応を評価する体系的な研究はいまだに過小評価されている。 さらに、基礎モデルの微調整中の破滅的な忘れの問題に対処する研究はほとんどない。 我々は,DINOv2視覚変換器を自己教師付き学習を用いて網膜画像分類タスクに適用し,DINORETとBE DINORETという2つの新しい基礎モデルを生成した。 糖尿病網膜症ステージングおよび緑内障検出のためのモデル開発およびその後の微調整のために、市販カラーファンドス写真が採用された。 我々は,新しい領域適応戦略としてブロック拡張を導入し,破滅的忘れのモデルを評価した。 モデルは、眼科における最先端の基礎モデルであるRETFoundにベンチマークされた。 DINORETとBE DINORETは網膜イメージングタスクにおいて競合性能を示し、ブロック拡張モデルはほとんどのデータセットで最高スコアを達成した。 ブロック拡大は破滅的な忘れを和らげることに成功した。 データ効率ではDINORETとBE DINORETがRETFoundより優れていた。 本研究は、自己教師付き学習とブロック展開を用いた網膜画像への自然なドメインビジョンモデルの適用の可能性を強調した。 BE DINORETは、以前取得した機能を犠牲にすることなく、堅牢なパフォーマンスを提供する。 以上の結果から, 医療機関が患者に対する適応型視覚モデルの開発を可能とし, グローバルな医療活動の促進が期待できると考えられた。

関連論文リスト

• A Disease-Specific Foundation Model Using Over 100K Fundus Images: Release and Validation for Abnormality and Multi-Disease Classification on Downstream Tasks [0.0]
  基礎画像の異常を検出するための教師付き人工知能モデルであるFundus-Specific Pretrained Model(Image+Fundus)を開発した。 57,803枚の画像を用いて、この事前訓練されたモデルを開発し、様々な下流タスクにおいて優れた性能を実現した。
  論文  参考訳（メタデータ） (2024-08-16T15:03:06Z)
• Enhance Eye Disease Detection using Learnable Probabilistic Discrete Latents in Machine Learning Architectures [1.6000489723889526]
  糖尿病網膜症や緑内障などの眼疾患は、公衆衛生上の重大な課題となる。 深層学習モデルは、網膜イメージングのような医療画像を分析する強力なツールとして登場した。 課題は、モデル適合性と不確実性の推定であり、これは臨床的な意思決定に不可欠である。
  論文  参考訳（メタデータ） (2024-01-21T04:14:54Z)
• Evaluating General Purpose Vision Foundation Models for Medical Image Analysis: An Experimental Study of DINOv2 on Radiology Benchmarks [5.8941124219471055]
  DINOv2はオープンソースのファンデーションモデルで、1億4200万のキュレートされた自然画像に対する自己教師付き学習を事前訓練している。 本研究は放射線学におけるDINOv2の性能を総合的に評価する。
  論文  参考訳（メタデータ） (2023-12-04T21:47:10Z)
• Enhancing and Adapting in the Clinic: Source-free Unsupervised Domain Adaptation for Medical Image Enhancement [34.11633495477596]
  ソースレス非教師なし領域適応医療画像強調法(SAME)を提案する。 構造化学習データからロバストなソースモデルを学習するために,まず構造保存強化ネットワークを構築した。 強化タスクの知識蒸留を促進するために擬似ラベルピッカーを開発した。
  論文  参考訳（メタデータ） (2023-12-03T10:01:59Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• USIM-DAL: Uncertainty-aware Statistical Image Modeling-based Dense Active Learning for Super-resolution [47.38982697349244]
  デンス回帰(Dense regression)は、画像の超解像、エンハンスメント、深さ推定などのタスクのためのコンピュータビジョンで広く使われているアプローチである。 この問題に対処するために,能動学習を高密度回帰モデルに組み込むことを提案する。 アクティブな学習により、モデルはラベル付けのための最も有益なサンプルを選択し、全体的なアノテーションコストを削減し、パフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2023-05-27T16:33:43Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• ROCT-Net: A new ensemble deep convolutional model with improved spatial resolution learning for detecting common diseases from retinal OCT images [0.0]
  本稿では,OCT画像から網膜疾患を検出するために,新たな深層アンサンブル畳み込みニューラルネットワークを提案する。 本モデルは,2つの頑健な畳み込みモデルの学習アーキテクチャを用いて,リッチかつマルチレゾリューションな特徴を生成する。 2つのデータセットに関する実験と、他のよく知られた深層畳み込みニューラルネットワークとの比較により、アーキテクチャが分類精度を最大5%向上できることが証明された。
  論文  参考訳（メタデータ） (2022-03-03T17:51:01Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。