論文の概要: Arbitrary Data as Images: Fusion of Patient Data Across Modalities and Irregular Intervals with Vision Transformers

• arxiv url: http://arxiv.org/abs/2501.18237v1
• Date: Thu, 30 Jan 2025 09:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:59.126903
• Title: Arbitrary Data as Images: Fusion of Patient Data Across Modalities and Irregular Intervals with Vision Transformers
• Title（参考訳）: 画像としての任意データ: モダリティにおける患者データの融合と視覚変換器による不規則間隔
• Authors: Malte Tölle, Mohamad Scharaf, Samantha Fischer, Christoph Reich, Silav Zeid, Christoph Dieterich, Benjamin Meder, Norbert Frey, Philipp Wild, Sandy Engelhardt,
• Abstract要約: 不規則サンプルマルチモーダル計測(ViTiMM)のためのビジョントランス MIMIC-IVデータセットから6,175人の患者を対象に,不規則標本化マルチモーダル計測(ViTiMM)のビジョントランスフォーマーを用いて,データ前処理とモデリングを簡略化するだけでなく,院内死亡と表現の予測における最先端の手法よりも優れていた。 私たちの研究は、トレーニングの複雑さを(視覚的に)迅速なエンジニアリングに還元し、参入障壁を低くし、トレーニングのためのノーコードソリューションを可能にすることで、マルチモーダルな医療AIの進歩を促すことを願っています。
• 参考スコア（独自算出の注目度）: 1.194275822303467
• License:
• Abstract: A patient undergoes multiple examinations in each hospital stay, where each provides different facets of the health status. These assessments include temporal data with varying sampling rates, discrete single-point measurements, therapeutic interventions such as medication administration, and images. While physicians are able to process and integrate diverse modalities intuitively, neural networks need specific modeling for each modality complicating the training procedure. We demonstrate that this complexity can be significantly reduced by visualizing all information as images along with unstructured text and subsequently training a conventional vision-text transformer. Our approach, Vision Transformer for irregular sampled Multi-modal Measurements (ViTiMM), not only simplifies data preprocessing and modeling but also outperforms current state-of-the-art methods in predicting in-hospital mortality and phenotyping, as evaluated on 6,175 patients from the MIMIC-IV dataset. The modalities include patient's clinical measurements, medications, X-ray images, and electrocardiography scans. We hope our work inspires advancements in multi-modal medical AI by reducing the training complexity to (visual) prompt engineering, thus lowering entry barriers and enabling no-code solutions for training. The source code will be made publicly available.
• Abstract（参考訳）: 患者は各病院留置所で複数の検査を受け、それぞれが健康状態の異なる面を提供している。 これらの評価には、サンプリング率の異なる時間データ、個別の単一点測定、薬物投与などの治療介入、画像が含まれる。 医師は様々なモダリティを直感的に処理し、統合することができるが、ニューラルネットワークはトレーニング手順を複雑にする各モダリティの特定のモデリングを必要とする。 この複雑さは、構造化されていないテキストとともに、すべての情報を画像として可視化し、その後、従来の視覚テキスト変換器を訓練することで、大幅に低減できることを示す。 MIMIC-IVデータセットから6,175人の患者を対象に,不規則標本化マルチモーダル計測(ViTiMM)のビジョントランスフォーマーを用いて,データ前処理とモデリングを簡略化するだけでなく,院内死亡と表現の予測における最先端の手法よりも優れていた。 モダリティには、患者の臨床的測定、薬品、X線画像、心電図スキャンが含まれる。 私たちの研究は、トレーニングの複雑さを(視覚的に)迅速なエンジニアリングに還元し、参入障壁を低くし、トレーニングのためのノーコードソリューションを可能にすることで、マルチモーダルな医療AIの進歩を促すことを願っています。 ソースコードは一般公開される予定だ。

関連論文リスト

• Learning General-Purpose Biomedical Volume Representations using Randomized Synthesis [9.355513913682794]
  現在のバイオメディカルファンデーションモデルは、パブリックな3Dデータセットが小さいため、一般化に苦慮している。 本稿では,新しいバイオメディカルコンテキストへの一般化を可能にする,高度に可変なトレーニングサンプルを合成するデータエンジンを提案する。 次に, ボクセルレベルのタスクに対して1つの3Dネットワークをトレーニングするために, データエンジンでシミュレートされたニュアンス画像の変動に対して, ネットワークが安定であるように事前訓練するコントラスト学習手法を開発した。
  論文  参考訳（メタデータ） (2024-11-04T18:40:46Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• Overcoming challenges of translating deep-learning models for glioblastoma: the ZGBM consortium [0.9338156173462939]
  方法: MRデータは、ZGBMコンソーシアムの5つのコンソーシアムにまたがる前向きコホートから、ランダムな5人のサンプルから分析された。 DICOMヘッダ情報とともに臨床および治療データを解析し,治療経路の撮影スケジュールを把握した。 全ての部位は、前外科的な研究を除いて、経路内のすべての段階において構造的イメージングを行い、いくつかの部位ではコントラスト強化T1強調画像のみを実行する。 拡散MRIは、最も一般的な非構造イメージングタイプであり、各部位で実行される。
  論文  参考訳（メタデータ） (2024-05-07T10:04:08Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in Medical Imaging AI [1.359138408203412]
  医用画像AIドリフトモニタリングワークフローを構築してテストし、同時代の地上真実なしにデータとモデルドリフトを追跡する。 主な貢献は,(1)VAEおよび領域特異的統計手法を含む医用画像ドリフト検出のための概念実証である。 この研究は、動的医療環境における継続的医療画像AIモデルモニタリングに関連する翻訳ギャップに対処するために重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-02-06T18:58:35Z)
• Solving Inverse Problems in Medical Imaging with Score-Based Generative Models [87.48867245544106]
  CT(Computed Tomography)とMRI(Magnetic Resonance Imaging)における医用画像の再構成は重要な逆問題である 機械学習に基づく既存のソリューションは通常、測定結果を医療画像に直接マッピングするモデルを訓練する。 本稿では,最近導入されたスコアベース生成モデルを利用して,逆問題解決のための教師なし手法を提案する。
  論文  参考訳（メタデータ） (2021-11-15T05:41:12Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Convolutional-LSTM for Multi-Image to Single Output Medical Prediction [55.41644538483948]
  発展途上国の一般的なシナリオは、複数の理由からボリュームメタデータが失われることである。 ヒトの診断過程を模倣したマルチイメージから単一診断モデルを得ることが可能である。
  論文  参考訳（メタデータ） (2020-10-20T04:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。