論文の概要: Latent Space Explorer: Visual Analytics for Multimodal Latent Space Exploration

• arxiv url: http://arxiv.org/abs/2312.00857v1
• Date: Fri, 1 Dec 2023 15:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:28:33.355016
• Title: Latent Space Explorer: Visual Analytics for Multimodal Latent Space Exploration
• Title（参考訳）: Latent Space Explorer: マルチモーダルなLatent Space Explorationのためのビジュアルアナリティクス
• Authors: Bum Chul Kwon and Samuel Friedman and Kai Xu and Steven A Lubitz and Anthony Philippakis and Puneet Batra and Patrick T Ellinor and Kenney Ng
• Abstract要約: 大規模なデータセットからトレーニングされたマルチモーダル機械学習モデルは、心臓病の発症を予測する可能性がある。 Latent Space Explorerはインタラクティブな視覚化を提供しており、ユーザーは被写体のマルチモーダルな表現を探索することができる。 ユーザースタディは、医学の専門家とともに行われ、彼らのフィードバックは、ラテント・エクスプローラーが分析にどのように役立つかについての有益な洞察を提供した。
• 参考スコア（独自算出の注目度）: 12.202104074544202
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning models built on training data with multiple modalities can reveal new insights that are not accessible through unimodal datasets. For example, cardiac magnetic resonance images (MRIs) and electrocardiograms (ECGs) are both known to capture useful information about subjects' cardiovascular health status. A multimodal machine learning model trained from large datasets can potentially predict the onset of heart-related diseases and provide novel medical insights about the cardiovascular system. Despite the potential benefits, it is difficult for medical experts to explore multimodal representation models without visual aids and to test the predictive performance of the models on various subpopulations. To address the challenges, we developed a visual analytics system called Latent Space Explorer. Latent Space Explorer provides interactive visualizations that enable users to explore the multimodal representation of subjects, define subgroups of interest, interactively decode data with different modalities with the selected subjects, and inspect the accuracy of the embedding in downstream prediction tasks. A user study was conducted with medical experts and their feedback provided useful insights into how Latent Space Explorer can help their analysis and possible new direction for further development in the medical domain.
• Abstract（参考訳）: 複数のモダリティを持つトレーニングデータ上に構築された機械学習モデルは、ユニモーダルデータセットでアクセスできない新しい洞察を明らかにすることができる。 例えば、心臓磁気共鳴画像(MRI)と心電図(ECG)は共に、患者の心臓血管の健康状態に関する有用な情報を取得することで知られている。 大規模データセットからトレーニングされたマルチモーダル機械学習モデルは、心疾患の発生を予測する可能性があり、心血管系に関する新しい医学的洞察を提供する。 潜在的な利点にもかかわらず、医療専門家は視覚補助なしでマルチモーダル表現モデルを探索し、様々なサブポピュレーションにおけるモデルの予測性能をテストすることは困難である。 課題に対処するため、我々はlatent space explorerと呼ばれるビジュアル分析システムを開発した。 latent space explorerはインタラクティブなビジュアライゼーションを提供し、ユーザが対象のマルチモーダル表現を探索し、関心のあるサブグループを定義し、選択した対象と異なるモダリティを持つデータをインタラクティブにデコードし、下流予測タスクへの埋め込みの精度を検査できるようにする。 医療専門家によるユーザー調査が行われ、彼らのフィードバックは、潜在スペースエクスプローラがどのように分析に役立ち、医療領域のさらなる発展に新しい方向性をもたらすのかについての有益な洞察を提供した。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Review of multimodal machine learning approaches in healthcare [0.0]
  臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。 機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
  論文  参考訳（メタデータ） (2024-02-04T12:21:38Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Multi-modal Graph Learning over UMLS Knowledge Graphs [1.6311327256285293]
  医療概念の有意義な表現を学習するためのMMUGL(Multi-Modal UMLS Graph Learning)を提案する。 これらの表現は、患者の訪問全体を表すために集約され、シークエンスモデルに入力され、患者の複数の病院訪問の粒度で予測される。
  論文  参考訳（メタデータ） (2023-07-10T10:16:57Z)
• CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in Medical Imaging AI [1.359138408203412]
  医用画像AIドリフトモニタリングワークフローを構築してテストし、同時代の地上真実なしにデータとモデルドリフトを追跡する。 主な貢献は,(1)VAEおよび領域特異的統計手法を含む医用画像ドリフト検出のための概念実証である。 この研究は、動的医療環境における継続的医療画像AIモデルモニタリングに関連する翻訳ギャップに対処するために重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-02-06T18:58:35Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。