論文の概要: Joint Explicit and Implicit Cross-Modal Interaction Network for Anterior Chamber Inflammation Diagnosis

• arxiv url: http://arxiv.org/abs/2312.06171v3
• Date: Mon, 28 Oct 2024 12:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 16:01:17.362529
• Title: Joint Explicit and Implicit Cross-Modal Interaction Network for Anterior Chamber Inflammation Diagnosis
• Title（参考訳）: 前房炎症診断のための関節明示的・暗黙的クロスモーダル相互作用ネットワーク
• Authors: Qian Shao, Ye Dai, Haochao Ying, Kan Xu, Jinhong Wang, Wei Chi, Jian Wu,
• Abstract要約: 現在の診断法は、限定的な単一モダル病の観点にのみ依存している。 本稿では,前房炎症診断のための共用的で暗黙的なクロスモーダル・インタラクション・ネットワーク(EiCI-Net)を提案する。
• 参考スコア（独自算出の注目度）: 8.41163470946397
• License:
• Abstract: Uveitis demands the precise diagnosis of anterior chamber inflammation (ACI) for optimal treatment. However, current diagnostic methods only rely on a limited single-modal disease perspective, which leads to poor performance. In this paper, we investigate a promising yet challenging way to fuse multimodal data for ACI diagnosis. Notably, existing fusion paradigms focus on empowering implicit modality interactions (i.e., self-attention and its variants), but neglect to inject explicit modality interactions, especially from clinical knowledge and imaging property. To this end, we propose a jointly Explicit and implicit Cross-Modal Interaction Network (EiCI-Net) for Anterior Chamber Inflammation Diagnosis that uses anterior segment optical coherence tomography (AS-OCT) images, slit-lamp images, and clinical data jointly. Specifically, we first develop CNN-Based Encoders and Tabular Processing Module (TPM) to extract efficient feature representations in different modalities. Then, we devise an Explicit Cross-Modal Interaction Module (ECIM) to generate attention maps as a kind of explicit clinical knowledge based on the tabular feature maps, then integrated them into the slit-lamp feature maps, allowing the CNN-Based Encoder to focus on more effective informativeness of the slit-lamp images. After that, the Implicit Cross-Modal Interaction Module (ICIM), a transformer-based network, further implicitly enhances modality interactions. Finally, we construct a considerable real-world dataset from our collaborative hospital and conduct sufficient experiments to demonstrate the superior performance of our proposed EiCI-Net compared with the state-of-the-art classification methods in various metrics.
• Abstract（参考訳）: ぶどう膜炎は、最適な治療のために、前室炎(ACI)の正確な診断を必要とする。 しかし、現在の診断法は、限られた単一モーダル病の観点にのみ依存しており、パフォーマンスの低下につながっている。 本稿では,ACI診断のための多モードデータを融合する,有望かつ挑戦的な手法について検討する。 既存の融合パラダイムは、暗黙のモダリティ相互作用(すなわち自己注意とその変種)の強化に重点を置いているが、特に臨床知識や画像特性から明示的なモダリティ相互作用を注入することを無視している。 そこで本研究では,前部セグメント光コヒーレンス・トモグラフィー(AS-OCT)画像,スリット・ランプ画像,臨床データを併用した前房炎症診断のための,共同的かつ暗黙的なクロスモーダル・インタラクション・ネットワーク(EiCI-Net)を提案する。 具体的には、まずCNNベースのエンコーダとタブラル処理モジュール(TPM)を開発し、異なるモードで効率的な特徴表現を抽出する。 そこで,我々は,表層特徴写像に基づく明示的な臨床知識として注目マップを生成するための明示的クロスモーダル・インタラクション・モジュール (ECIM) を考案し,それらをスリットランプ特徴写像に統合し,CNNベースのエンコーダがスリットランプ画像のより効果的な情報性に集中できるようにする。 その後、トランスフォーマーベースのネットワークであるImplicit Cross-Modal Interaction Module (ICIM)は、モダリティインタラクションをさらに暗黙的に強化する。 最後に、我々の共同病院からかなりの実世界のデータセットを構築し、提案したE EiCI-Netの優れた性能を様々な指標の最先端分類法と比較する十分な実験を行った。

関連論文リスト

• Efficient Bilinear Attention-based Fusion for Medical Visual Question Answering [3.983863335432589]
  コンピュータビジョンと自然言語処理の交差点では,MedVQA (MedVQA) が注目されている。 本稿では,オリゴニティ損失,マルチヘッドアテンション,双線形アテンションネットワーク(OMniBAN)を統合した新しい融合モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-28T13:24:12Z)
• Scribble-Based Interactive Segmentation of Medical Hyperspectral Images [4.675955891956077]
  本研究は、医用ハイパースペクトル画像のためのスクリブルベースのインタラクティブセグメンテーションフレームワークを導入する。 提案手法は,特徴抽出のための深層学習と,ユーザが提供するスクリブルから生成された測地距離マップを利用する。
  論文  参考訳（メタデータ） (2024-08-05T12:33:07Z)
• HA-HI: Synergising fMRI and DTI through Hierarchical Alignments and Hierarchical Interactions for Mild Cognitive Impairment Diagnosis [10.028997265879598]
  軽度認知障害(MCI)と主観的認知低下(SCD)の診断のための新しい階層的アライメントと階層的相互作用(HA-HI)法を導入する。 HA-HIは、様々な特徴型を整列し、それらの相互作用を階層的に最大化することで、MCIまたはSCD関連の重要な地域および接続特性を効率的に学習する。 提案手法の解釈可能性を高めるために,MCI/SCDを示す重要な脳領域と接続を明らかにするSynergistic Activation Map (SAM) 技術を開発した。
  論文  参考訳（メタデータ） (2024-01-02T12:46:02Z)
• Polar-Net: A Clinical-Friendly Model for Alzheimer's Disease Detection in OCTA Images [53.235117594102675]
  オプティカルコヒーレンス・トモグラフィーは、網膜微小血管の画像化によってアルツハイマー病(AD)を検出するための有望なツールである。 我々はPolar-Netと呼ばれる新しいディープラーニングフレームワークを提案し、解釈可能な結果を提供し、臨床上の事前知識を活用する。 Polar-Netは既存の最先端の手法よりも優れており,網膜血管変化とADとの関連性について,より貴重な病理学的証拠を提供する。
  論文  参考訳（メタデータ） (2023-11-10T11:49:49Z)
• Fusing Structural and Functional Connectivities using Disentangled VAE for Detecting MCI [9.916963496386089]
  階層型構造機能接続ファジング(HSCF)モデルを提案し,脳構造機能接続行列を構築した。 公的なアルツハイマー病神経画像イニシアチブデータベース上で行われた幅広いテストの結果、提案モデルは競合するアプローチよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-16T05:22:25Z)
• Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network [51.44506007844284]
  内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。 まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。 次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
  論文  参考訳（メタデータ） (2021-11-08T07:57:30Z)
• Contextual Information Enhanced Convolutional Neural Networks for Retinal Vessel Segmentation in Color Fundus Images [0.0]
  自動網膜血管セグメンテーションシステムは、臨床診断及び眼科研究を効果的に促進することができる。 ディープラーニングベースの手法が提案され、いくつかのカスタマイズされたモジュールが有名なエンコーダデコーダアーキテクチャU-netに統合されている。 その結果,提案手法は先行技術よりも優れ,感性/リコール,F1スコア,MCCの最先端性能を実現している。
  論文  参考訳（メタデータ） (2021-03-25T06:10:47Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• Context-Aware Refinement Network Incorporating Structural Connectivity Prior for Brain Midline Delineation [50.868845400939314]
  UNetによって生成された特徴ピラミッド表現を洗練・統合するための文脈対応改良ネットワーク(CAR-Net)を提案する。 正中線における脳の構造的接続性を維持するため、我々は新しい接続性レギュラーロスを導入する。 提案手法は, パラメータを少なくし, 4つの評価指標で3つの最先端手法より優れる。
  論文  参考訳（メタデータ） (2020-07-10T14:01:20Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。