論文の概要: Latent Space Explorer: Visual Analytics for Multimodal Latent Space
Exploration
- arxiv url: http://arxiv.org/abs/2312.00857v1
- Date: Fri, 1 Dec 2023 15:25:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 20:28:33.355016
- Title: Latent Space Explorer: Visual Analytics for Multimodal Latent Space
Exploration
- Title(参考訳): Latent Space Explorer: マルチモーダルなLatent Space Explorationのためのビジュアルアナリティクス
- Authors: Bum Chul Kwon and Samuel Friedman and Kai Xu and Steven A Lubitz and
Anthony Philippakis and Puneet Batra and Patrick T Ellinor and Kenney Ng
- Abstract要約: 大規模なデータセットからトレーニングされたマルチモーダル機械学習モデルは、心臓病の発症を予測する可能性がある。
Latent Space Explorerはインタラクティブな視覚化を提供しており、ユーザーは被写体のマルチモーダルな表現を探索することができる。
ユーザースタディは、医学の専門家とともに行われ、彼らのフィードバックは、ラテント・エクスプローラーが分析にどのように役立つかについての有益な洞察を提供した。
- 参考スコア(独自算出の注目度): 12.202104074544202
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning models built on training data with multiple modalities can
reveal new insights that are not accessible through unimodal datasets. For
example, cardiac magnetic resonance images (MRIs) and electrocardiograms (ECGs)
are both known to capture useful information about subjects' cardiovascular
health status. A multimodal machine learning model trained from large datasets
can potentially predict the onset of heart-related diseases and provide novel
medical insights about the cardiovascular system. Despite the potential
benefits, it is difficult for medical experts to explore multimodal
representation models without visual aids and to test the predictive
performance of the models on various subpopulations. To address the challenges,
we developed a visual analytics system called Latent Space Explorer. Latent
Space Explorer provides interactive visualizations that enable users to explore
the multimodal representation of subjects, define subgroups of interest,
interactively decode data with different modalities with the selected subjects,
and inspect the accuracy of the embedding in downstream prediction tasks. A
user study was conducted with medical experts and their feedback provided
useful insights into how Latent Space Explorer can help their analysis and
possible new direction for further development in the medical domain.
- Abstract(参考訳): 複数のモダリティを持つトレーニングデータ上に構築された機械学習モデルは、ユニモーダルデータセットでアクセスできない新しい洞察を明らかにすることができる。
例えば、心臓磁気共鳴画像(MRI)と心電図(ECG)は共に、患者の心臓血管の健康状態に関する有用な情報を取得することで知られている。
大規模データセットからトレーニングされたマルチモーダル機械学習モデルは、心疾患の発生を予測する可能性があり、心血管系に関する新しい医学的洞察を提供する。
潜在的な利点にもかかわらず、医療専門家は視覚補助なしでマルチモーダル表現モデルを探索し、様々なサブポピュレーションにおけるモデルの予測性能をテストすることは困難である。
課題に対処するため、我々はlatent space explorerと呼ばれるビジュアル分析システムを開発した。
latent space explorerはインタラクティブなビジュアライゼーションを提供し、ユーザが対象のマルチモーダル表現を探索し、関心のあるサブグループを定義し、選択した対象と異なるモダリティを持つデータをインタラクティブにデコードし、下流予測タスクへの埋め込みの精度を検査できるようにする。
医療専門家によるユーザー調査が行われ、彼らのフィードバックは、潜在スペースエクスプローラがどのように分析に役立ち、医療領域のさらなる発展に新しい方向性をもたらすのかについての有益な洞察を提供した。
関連論文リスト
- Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Multi-modal Graph Learning over UMLS Knowledge Graphs [1.6311327256285293]
医療概念の有意義な表現を学習するためのMMUGL(Multi-Modal UMLS Graph Learning)を提案する。
これらの表現は、患者の訪問全体を表すために集約され、シークエンスモデルに入力され、患者の複数の病院訪問の粒度で予測される。
論文 参考訳(メタデータ) (2023-07-10T10:16:57Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in
Medical Imaging AI [1.359138408203412]
医用画像AIドリフトモニタリングワークフローを構築してテストし、同時代の地上真実なしにデータとモデルドリフトを追跡する。
主な貢献は,(1)VAEおよび領域特異的統計手法を含む医用画像ドリフト検出のための概念実証である。
この研究は、動的医療環境における継続的医療画像AIモデルモニタリングに関連する翻訳ギャップに対処するために重要な意味を持つ。
論文 参考訳(メタデータ) (2022-02-06T18:58:35Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。