論文の概要: Personalized 2D Binary Patient Codes of Tissue Images and Immunogenomic Data Through Multimodal Self-Supervised Fusion
- arxiv url: http://arxiv.org/abs/2409.13115v1
- Date: Thu, 19 Sep 2024 22:49:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 11:52:12.901555
- Title: Personalized 2D Binary Patient Codes of Tissue Images and Immunogenomic Data Through Multimodal Self-Supervised Fusion
- Title（参考訳）: 多モード自己監督核融合による組織像と免疫ゲノムデータのパーソナライズされた2次元患者コード
- Authors: Areej Alsaafin, Abubakr Shafique, Saghir Alfasly, H. R. Tizhoosh,
- Abstract要約: MarbliXは、病理組織像と免疫ゲノムシークエンシングデータを統合し、それらを簡潔なバイナリー患者コードにカプセル化する革新的なフレームワークである。
実験の結果は、医療専門家に深い洞察を与えるMarbliXの可能性を示している。
- 参考スコア（独自算出の注目度）: 0.9374652839580183
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The field of medical diagnostics has witnessed a transformative convergence of artificial intelligence (AI) and healthcare data, offering promising avenues for enhancing patient care and disease comprehension. However, this integration of multimodal data, specifically histopathology whole slide images (WSIs) and genetic sequencing data, presents unique challenges due to modality disparities and the need for scalable computational solutions. This paper addresses the scarcity of multimodal solutions, primarily centered around unimodal data solutions, thus limiting the realization of the rich insights that can be derived from integrating images and genomic data. Here, we introduce MarbliX ``Multimodal Association and Retrieval with Binary Latent Indexed matriX,'' an innovative multimodal framework that integrates histopathology images with immunogenomic sequencing data, encapsulating them into a concise binary patient code, referred to as ``monogram.'' This binary representation facilitates the establishment of a comprehensive archive, enabling clinicians to match similar cases. The experimental results demonstrate the potential of MarbliX to empower healthcare professionals with in-depth insights, leading to more precise diagnoses, reduced variability, and expanded personalized treatment options, particularly in the context of cancer.
- Abstract（参考訳）: 医療診断の分野は、人工知能(AI)と医療データの変革的な収束を目撃し、患者のケアと疾患の理解を高めるための有望な道を提供する。
しかし、このマルチモーダルデータ、特にスライディング画像(WSI)と遺伝的シークエンシングデータの統合は、モダリティの相違とスケーラブルな計算ソリューションの必要性による独特な課題を提起する。
本稿では, 画像とゲノムデータの統合から得られるリッチな洞察の実現を抑えるため, マルチモーダル・ソリューションの不足に対処する。
本稿では, 病理組織像と免疫ゲノムシークエンシングデータを統合し, 簡潔なバイナリ・コードにカプセル化する, 革新的なマルチモーダル・フレームワークであるMarbliX ``Multimodal Association and Retrieval with Binary Latent Indexed matriX'を紹介する。
「」このバイナリ表現は総合的なアーカイブの確立を促進するもので、臨床医も同様の事例に対応することができる。
実験結果は、マーブリXが医療専門家に深い洞察を与え、より正確な診断、多様性の低減、そして特にがんの文脈においてパーソナライズされた治療オプションを拡大する可能性を示している。
関連論文リスト
- FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。
クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。
ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。
また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
論文 参考訳（メタデータ） (2024-05-13T12:39:08Z) - MMIST-ccRCC: A Real World Medical Dataset for the Development of Multi-Modal Systems [12.914295902429]
本稿では,MMIST-CCRCCと呼ばれる実世界のマルチモーダルデータセットを紹介する。
このデータセットは、クリア細胞腎細胞癌(ccRCC)618例の2つの放射線学的モダリティ(CTとMRI)、病理組織学、ゲノム学、臨床データからなる。
このような深刻な欠落率であっても、モダリティの融合は生存予測の改善につながることを示す。
論文 参考訳（メタデータ） (2024-05-02T18:29:05Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
論文 参考訳（メタデータ） (2024-03-20T05:50:04Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳（メタデータ） (2023-12-29T14:28:04Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized
Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。
次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。
我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-07-13T23:52:41Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。