論文の概要: OCTCube-M: A 3D multimodal optical coherence tomography foundation model for retinal and systemic diseases with cross-cohort and cross-device validation

• arxiv url: http://arxiv.org/abs/2408.11227v2
• Date: Tue, 17 Dec 2024 19:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:27:56.612167
• Title: OCTCube-M: A 3D multimodal optical coherence tomography foundation model for retinal and systemic diseases with cross-cohort and cross-device validation
• Title（参考訳）: OCTCube-M: クロスコホート・クロスデバイス検証による網膜・全身疾患に対する3次元多モード光コヒーレンス断層法の基礎モデル
• Authors: Zixuan Liu, Hanwen Xu, Addie Woicik, Linda G. Shapiro, Marian Blazes, Yue Wu, Verena Steffen, Catherine Cukras, Cecilia S. Lee, Miao Zhang, Aaron Y. Lee, Sheng Wang,
• Abstract要約: OCTと顔画像の共同解析のための3次元OCTに基づく多モード基盤モデルであるOCTCube-Mを提案する。 OCTCube-Mは、最初にOCTCubeを開発した。 新規なマルチモーダルコントラスト学習フレームワークであるCOEPを利用して、底部自己蛍光や赤外網膜イメージングなどの他の網膜イメージングモダリティを統合する。
• 参考スコア（独自算出の注目度）: 20.17448729403084
• License:
• Abstract: We present OCTCube-M, a 3D OCT-based multi-modal foundation model for jointly analyzing OCT and en face images. OCTCube-M first developed OCTCube, a 3D foundation model pre-trained on 26,685 3D OCT volumes encompassing 1.62 million 2D OCT images. It then exploits a novel multi-modal contrastive learning framework COEP to integrate other retinal imaging modalities, such as fundus autofluorescence and infrared retinal imaging, into OCTCube, efficiently extending it into multi-modal foundation models. OCTCube achieves best performance on predicting 8 retinal diseases, demonstrating strong generalizability on cross-cohort, cross-device and cross-modality prediction. OCTCube can also predict cross-organ nodule malignancy (CT) and low cardiac ejection fraction as well as systemic diseases, such as diabetes and hypertension, revealing its wide applicability beyond retinal diseases. We further develop OCTCube-IR using COEP with 26,685 OCT and IR image pairs. OCTCube-IR can accurately retrieve between OCT and IR images, allowing joint analysis between 3D and 2D retinal imaging modalities. Finally, we trained a tri-modal foundation model OCTCube-EF from 4 million 2D OCT images and 400K en face retinal images. OCTCube-EF attains the best performance on predicting the growth rate of geographic atrophy (GA) across datasets collected from 6 multi-center global trials conducted in 23 countries. This improvement is statistically equivalent to running a clinical trial with more than double the size of the original study. Our analysis based on another retrospective case study reveals OCTCube-EF's ability to avoid false positive Phase-III results according to its accurate treatment effect estimation on the Phase-II results. In sum, OCTCube-M is a 3D multi-modal foundation model framework that integrates OCT and other retinal imaging modalities revealing substantial diagnostic and prognostic benefits.
• Abstract（参考訳）: OCTと顔画像の共同解析のための3次元OCTに基づく多モード基盤モデルであるOCTCube-Mを提案する。 OCTCube-Mは、最初にOCTCubeを開発した。 次に、新しいマルチモーダルコントラスト学習フレームワークであるCOEPを利用して、眼底の自己蛍光や赤外線網膜イメージングなどの他の網膜画像モダリティをOCTCubeに統合し、効率的にマルチモーダル基礎モデルに拡張する。 OCTCubeは8つの網膜疾患を予測し、クロスコホート、クロスデバイス、クロスモダリティ予測に強い一般化性を示す。 OCTCubeは、糖尿病や高血圧などの全身性疾患と同様に、組織横断性結節悪性度(CT)と低心放出率を予測でき、網膜疾患以外の幅広い適用性を明らかにしている。 さらに,26,685 OCT と IR 画像対を用いた COEP を用いた OCTCube-IR の開発を行った。 OCTCube-IR は OCT と IR の画像を正確に取得することができ、3D と 2D の網膜画像の同時解析を可能にする。 最後に,400万枚のOCT画像と400万枚の網膜画像からトリモーダルファンデーションモデルOCTCube-EFを訓練した。 OCTCube-EFは、23カ国で実施された6つのマルチセンターグローバルトライアルから収集したデータセット間での地理的萎縮(GA)の成長率を予測する上で、最高のパフォーマンスを得る。 この改善は、オリジナルの研究の2倍以上の大きさの臨床試験を行うことと統計的に同等である。 本研究は,OCTCube-EFが第III相の偽陽性を回避できるかどうかを,第II相の正確な治療効果評価に基づいて検討した。 まとめると、OCTCube-MはOCTや他の網膜画像モダリティを統合した3次元マルチモーダル基礎モデルフレームワークであり、診断と予後に有益である。

関連論文リスト

• Abnormality-Driven Representation Learning for Radiology Imaging [0.8321462983924758]
  病変強調型コントラスト学習(LeCL)は,CTスキャンの異なる部位にわたる2次元軸方向スライスにおける異常により引き起こされる視覚的表現を得るための新しい手法である。 本研究は, 腫瘍病変位置, 肺疾患検出, 患者ステージングの3つの臨床的課題に対するアプローチを, 最先端の4つの基礎モデルと比較した。
  論文  参考訳（メタデータ） (2024-11-25T13:53:26Z)
• Deep Convolutional Neural Networks on Multiclass Classification of Three-Dimensional Brain Images for Parkinson's Disease Stage Prediction [2.931680194227131]
  パーキンソン病の病期を正確に予測できるモデルを開発した。 我々は3次元脳画像全体を入力として使用した。 予測過程において,異なるスライスの重要性を考慮に入れた注意機構を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-31T05:40:08Z)
• 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
  本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。 パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-09-28T12:31:07Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full and Sparse Annotations [32.69359482975795]
  本研究は, ハイブリッド2D-3D畳み込みニューラルネットワーク(CNN)を基盤として, OCTボリュームから連続した3次元網膜層表面を得るための新しい枠組みを提案する。 人工的データセットと3つのパブリックな臨床データセットの実験により、我々のフレームワークは、潜在的運動補正のためにBスキャンを効果的に調整できることを示した。
  論文  参考訳（メタデータ） (2023-12-04T08:32:31Z)
• Deep learning network to correct axial and coronal eye motion in 3D OCT retinal imaging [65.47834983591957]
  深層学習に基づくニューラルネットワークを用いて,OCTの軸運動とコロナ運動のアーチファクトを1つのスキャンで補正する。 実験結果から, 提案手法は動作アーチファクトを効果的に補正し, 誤差が他の方法よりも小さいことを示す。
  論文  参考訳（メタデータ） (2023-05-27T03:55:19Z)
• Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retina OCT Images [33.99874168018807]
  本研究では,ハイブリッド2D-3D畳み込みニューラルネットワーク(CNN)を用いた新しいフレームワークを提案し,OCTから連続した3次元網膜層表面を得る。 本フレームワークは, 層分割精度とクロスBスキャン3D連続性の両方の観点から, 最先端の2D手法よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-04T15:55:09Z)
• Automated Model Design and Benchmarking of 3D Deep Learning Models for COVID-19 Detection with Chest CT Scans [72.04652116817238]
  3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。 また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
  論文  参考訳（メタデータ） (2021-01-14T03:45:01Z)
• Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices [48.85784310158493]
  CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。 新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。 提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
  論文  参考訳（メタデータ） (2020-12-16T07:11:16Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。