論文の概要: OU-CoViT: Copula-Enhanced Bi-Channel Multi-Task Vision Transformers with Dual Adaptation for OU-UWF Images

• arxiv url: http://arxiv.org/abs/2408.09395v1
• Date: Sun, 18 Aug 2024 07:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 20:59:59.056039
• Title: OU-CoViT: Copula-Enhanced Bi-Channel Multi-Task Vision Transformers with Dual Adaptation for OU-UWF Images
• Title（参考訳）: OU-CoViT:OU-UWF画像のデュアル適応型コプラ強化バイチャンネルマルチタスク・ビジョン変換器
• Authors: Yang Li, Jianing Deng, Chong Zhong, Danjuan Yang, Meiyan Li, A. H. Welsh, Aiyi Liu, Xingtao Zhou, Catherine C. Liu, Bo Fu,
• Abstract要約: 近縁超広視野画像(UWF)を用いた近視スクリーニングは,眼科領域におけるマルチタスク問題に対して有望な新しいパラダイムを示す。 OU-CoViT:OU-UWF画像のデュアル適応型Copula-Enhanced Bi-Channel Multi-Task Vision Transformer。
• 参考スコア（独自算出の注目度）: 6.710406784225201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Myopia screening using cutting-edge ultra-widefield (UWF) fundus imaging and joint modeling of multiple discrete and continuous clinical scores presents a promising new paradigm for multi-task problems in Ophthalmology. The bi-channel framework that arises from the Ophthalmic phenomenon of ``interocular asymmetries'' of both eyes (OU) calls for new employment on the SOTA transformer-based models. However, the application of copula models for multiple mixed discrete-continuous labels on deep learning (DL) is challenging. Moreover, the application of advanced large transformer-based models to small medical datasets is challenging due to overfitting and computational resource constraints. To resolve these challenges, we propose OU-CoViT: a novel Copula-Enhanced Bi-Channel Multi-Task Vision Transformers with Dual Adaptation for OU-UWF images, which can i) incorporate conditional correlation information across multiple discrete and continuous labels within a deep learning framework (by deriving the closed form of a novel Copula Loss); ii) take OU inputs subject to both high correlation and interocular asymmetries using a bi-channel model with dual adaptation; and iii) enable the adaptation of large vision transformer (ViT) models to small medical datasets. Solid experiments demonstrate that OU-CoViT significantly improves prediction performance compared to single-channel baseline models with empirical loss. Furthermore, the novel architecture of OU-CoViT allows generalizability and extensions of our dual adaptation and Copula Loss to various ViT variants and large DL models on small medical datasets. Our approach opens up new possibilities for joint modeling of heterogeneous multi-channel input and mixed discrete-continuous clinical scores in medical practices and has the potential to advance AI-assisted clinical decision-making in various medical domains beyond Ophthalmology.
• Abstract（参考訳）: 近縁超広視野撮影(UWF)による近位眼底検診と複数の離散的,連続的な臨床スコアの同時モデリングは,眼科領域におけるマルチタスク問題に対する有望な新しいパラダイムを示す。 両眼(OU)の「内眼非対称性」の眼現象から生じる双方向の枠組みは、SOTAトランスフォーマーモデルに新たな雇用を求める。 しかし,複数の混合離散連続ラベルに対するコプラモデルの深層学習への応用は困難である。 さらに, オーバーフィッティングや計算資源の制約により, 大規模トランスフォーマーモデルの適用は困難である。 これらの課題を解決するために,OU-UWF画像のデュアル適応を用いたCopula-Enhanced Bi-Channel Multi-Task Vision Transformerを提案する。 一 深層学習の枠組み(小説『コピュラロス』のクローズド形式を導出することによる)に複数の離散的・連続的なラベルに条件付き相関情報を組み込むこと。 二 二重適応二チャンネルモデルを用いて、高い相関性及び眼内アシンメトリーの両方を条件としたOU入力をとること。 三 大型視力変換器(ViT)モデルの小さな医療データセットへの適応を可能にすること。 実験により,OU-CoViTは経験損失のある単一チャネルベースラインモデルと比較して予測性能を著しく向上することが示された。 さらに、OU-CoViTの新たなアーキテクチャにより、小さな医療データセット上の様々なViT変種や大きなDLモデルに対して、我々の二重適応とCopula Lossの一般化性と拡張が可能になる。 提案手法は,医療実践における異種多チャンネル入力と混合型個別臨床スコアの融合モデリングの新たな可能性を開くとともに,眼科以外の様々な医療領域におけるAI支援臨床意思決定を進展させる可能性を秘めている。

関連論文リスト

• MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
  我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。 我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。 我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
  論文  参考訳（メタデータ） (2024-10-21T17:42:41Z)
• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• OUCopula: Bi-Channel Multi-Label Copula-Enhanced Adapter-Based CNN for Myopia Screening Based on OU-UWF Images [6.331220638842259]
  近縁超広視野撮影(UWF)による近視性検診は眼科成績に有意な影響を及ぼすと考えられた。 近年,眼科と深部学習(DL)の多分野的な研究は,主に単一眼画像を用いた疾患の分類と診断に焦点をあてている。 我々は,OU UWF Fundus image (OUCopula) を用いたCNN学習の枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:12:00Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer [53.575573940055335]
  我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。 画像の異なる20種類の画像分割作業において,その有効性を検証する。
  論文  参考訳（メタデータ） (2023-01-19T03:42:36Z)
• UGformer for Robust Left Atrium and Scar Segmentation Across Scanners [12.848774186557403]
  医用画像セグメンテーション(UGformer)のための新しいフレームワークを提案する。 U-Netから派生した新しいトランスフォーマーブロック、GCNブリッジ、畳み込みデコーダを統一し、左心房(LA)とLAの傷痕を予測する。 提案されたUGformerモデルは、LAScarQS 2022データセットに左心房と傷痕を分割する優れた能力を示す。
  論文  参考訳（メタデータ） (2022-10-11T05:11:11Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。