論文の概要: Multimodal Pathology Image Search Between H&E Slides and Multiplexed Immunofluorescent Images

• arxiv url: http://arxiv.org/abs/2306.06780v1
• Date: Sun, 11 Jun 2023 21:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 16:49:02.792469
• Title: Multimodal Pathology Image Search Between H&E Slides and Multiplexed Immunofluorescent Images
• Title（参考訳）: h&eスライドと多重免疫蛍光画像のマルチモーダル病理画像検索
• Authors: Amir Hajighasemi, MD Jillur Rahman Saurav, Mohammad S Nasr, Jai Prakash Veerla, Aarti Darji, Parisa Boodaghi Malidarreh, Michael Robben, Helen H Shang, Jacob M Luber
• Abstract要約: 本稿では,変分オートエンコーダ (VAE) 潜時空間上の動的時間ワープ (DTW) を用いたマルチモーダル画像検索手法を提案する。 VAEのトレーニングとDTWの適用を通じて、mIFとH&Eのスライドを調整および比較する。 本手法は, 形態学的H&EデータとmIFの免疫フェノタイピングを併用することにより, 鑑別診断と治療決定を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present an approach for multimodal pathology image search, using dynamic time warping (DTW) on Variational Autoencoder (VAE) latent space that is fed into a ranked choice voting scheme to retrieve multiplexed immunofluorescent imaging (mIF) that is most similar to a query H&E slide. Through training the VAE and applying DTW, we align and compare mIF and H&E slides. Our method improves differential diagnosis and therapeutic decisions by integrating morphological H&E data with immunophenotyping from mIF, providing clinicians a rich perspective of disease states. This facilitates an understanding of the spatial relationships in tissue samples and could revolutionize the diagnostic process, enhancing precision and enabling personalized therapy selection. Our technique demonstrates feasibility using colorectal cancer and healthy tonsil samples. An exhaustive ablation study was conducted on a search engine designed to explore the correlation between multiplexed Immunofluorescence (mIF) and Hematoxylin and Eosin (H&E) staining, in order to validate its ability to map these distinct modalities into a unified vector space. Despite extreme class imbalance, the system demonstrated robustness and utility by returning similar results across various data features, which suggests potential for future use in multimodal histopathology data analysis.
• Abstract（参考訳）: 本稿では,マルチモーダルな病理画像検索のためのアプローチとして,変分オートエンコーダ (VAE) 潜時空間上の動的時間ワープ (DTW) を用いて,クエリH&Eスライドと最もよく似た多重蛍光画像 (mIF) の検索を行う。 VAEのトレーニングとDTWの適用を通じて、mIFとH&Eのスライドを調整および比較する。 本手法は,形態学的H&EデータとmIFからの免疫フェノタイピングを統合することにより,鑑別診断と治療の意思決定を改善する。 これにより、組織サンプルにおける空間的関係の理解が容易になり、診断プロセスに革命をもたらし、精度を高め、パーソナライズされた治療選択を可能にする。 本手法は大腸癌と健康な扁桃腺検体を用いて実現可能性を示す。 mif(multiplexed immunofluorescence)とヘマトキシリン(hematoxylin)およびエオシン(h&e)染色(eosin)の相関関係を探索し,これらの異なる様相を統一ベクトル空間にマッピングする能力を検証するために,検索エンジンを用いて排他的アブレーションを行った。 極端なクラス不均衡にもかかわらず、このシステムは様々なデータ特徴に類似した結果を返却することで頑健さと有用性を示し、マルチモーダル・ヒストロジー・データ分析における将来的な使用の可能性を示している。

関連論文リスト

• Multiscale Latent Diffusion Model for Enhanced Feature Extraction from Medical Images [5.395912799904941]
  CTスキャナーモデルと取得プロトコルのバリエーションは、抽出した放射能特性に有意な変動をもたらす。 LTDiff++は医療画像の特徴抽出を強化するために設計されたマルチスケール潜在拡散モデルである。
  論文  参考訳（メタデータ） (2024-10-05T02:13:57Z)
• VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
  医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。 本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。 結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
  論文  参考訳（メタデータ） (2024-01-02T19:51:49Z)
• Diagnosis Of Takotsubo Syndrome By Robust Feature Selection From The Complex Latent Space Of DL-based Segmentation Network [4.583480375083946]
  医学における分類モデルやセグメンテーションモデルを用いて、潜伏した特徴を学習し、堅牢な特徴選択をオプトアウトし、過度な適合につながる可能性がある。 本稿では,診断を支援するセグメンテーションモデルの潜在空間を用いた特徴選択手法を提案する。 診断精度82%が従来のSOTA (State-of-the-art) を上回り, 心疾患の鑑別診断に有用であった。
  論文  参考訳（メタデータ） (2023-12-19T22:53:32Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer [53.575573940055335]
  我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。 画像の異なる20種類の画像分割作業において,その有効性を検証する。
  論文  参考訳（メタデータ） (2023-01-19T03:42:36Z)
• Texture Characterization of Histopathologic Images Using Ecological Diversity Measures and Discrete Wavelet Transform [82.53597363161228]
  本稿では,病理組織像間でテクスチャを特徴付ける手法を提案する。 2つのHIデータセットに有望な精度で、そのような画像の固有特性を定量化することが可能である。
  論文  参考訳（メタデータ） (2022-02-27T02:19:09Z)
• Fusion of medical imaging and electronic health records with attention and multi-head machanisms [4.433829714749366]
  本稿では,画像特徴抽出過程における重要な領域の選択を支援するために,EHRデータを用いたマルチモーダルアテンションモジュールを提案する。 また,マルチヘッドマクニズムをゲート型マルチモーダルユニット(GMU)に組み込むことにより,異なる部分空間における画像とEHR機能を並列に融合させることも提案する。 脳内出血患者のGOS(Glasgow outcome scale)の予測とアルツハイマー病の分類実験により,提案手法はタスク関連領域に自動的に焦点を絞ることができることが示された。
  論文  参考訳（メタデータ） (2021-12-22T07:39:26Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study [55.78588835407174]
  本研究では,高画質,多彩で現実的な拡散重み付き磁気共鳴画像が深部生成モデルを用いて合成可能であることを示す。 Introspective Variational AutoencoderとStyle-Based GANの2つのネットワークを医療分野におけるデータ拡張の資格として提示する。
  論文  参考訳（メタデータ） (2020-06-24T18:00:01Z)
• Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning [29.46896757506273]
  良質な医師のアノテート画像は非常に高価であり、様々な網膜疾患に対して限られた量のデータしか利用できない。 一部の研究では、AMDとDRは出血点や吐出などの一般的な特徴を共有しているが、ほとんどの分類アルゴリズムはこれらの疾患モデルを個別に訓練するだけである。 本稿では,関連網膜疾患ラベルを意味的および特徴空間の両方で付加的な信号として活用し,協調的にモデルを訓練するSALL法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T01:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。