論文の概要: LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
- arxiv url: http://arxiv.org/abs/2609.12364v1
- Date: Fri, 11 Sep 2026 02:34:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.588884
- Title: LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
- Title（参考訳）: LatentVerse: マルチモーダル潜在表現における共有情報とモダリティ情報を理解するためのフレームワーク
- Abstract要約: 本稿では、レポート駆動による探索と、スケーラブルな技術的探索のためのコマンドラインインターフェースを組み合わせた表現分析リソースであるLatentVerseを紹介する。
LatentVerseは、さまざまな表現品質メトリクスの診断を統一し、共有およびモダリティ固有のコンポーネントに埋め込み、マルチモーダル設定に拡張する。
実生医学的な埋め込みの発見指向分析と多様なユースケースを対象としたユーザスタディにより,LatentVerseの評価を行った。
- 参考スコア（独自算出の注目度）: 1.6926314031847856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent embeddings have become a central data abstraction in modern machine learning, especially in biomedicine, where foundation models are increasingly used to encode multimodal data like clinical text, medical images, omics, and physiological signals. However, the utility and value of these representations depends on understanding their quality, structure, and the information they encode. Existing analysis workflows for evaluating representations remain fragmented across custom scripts, isolated metrics, and most importantly lack multimodal analysis, limiting accessibility and reproducibility. We present LatentVerse, a representation analysis resource that combines a web-based visual analytics platform for accessible, report-driven exploration with a command-line interface for scalable technical workflows. LatentVerse unifies diagnostics for various representation quality metrics and extends to multimodal settings by decomposing embeddings into shared and modality-specific components. We evaluate LatentVerse through controlled unimodal and multimodal simulations, discovery-oriented analyses on real biomedical embeddings, and a user study across diverse use cases. By supporting thorough and interpretable evaluation of latent spaces, LatentVerse makes foundation model representations more understandable in biomedical and data science applications.
- Abstract（参考訳）: 特にバイオメディシンでは、臨床テキスト、医療画像、オミクス、生理的信号などのマルチモーダルデータをエンコードするために基礎モデルが使われるようになっている。
しかしながら、これらの表現の有用性と価値は、それらが符号化する品質、構造、情報を理解することに依存する。
表現を評価するための既存の分析ワークフローは、カスタムスクリプト、独立したメトリクス、そして最も重要なことはマルチモーダル分析がなく、アクセシビリティと再現性に制限がある。
我々は、アクセス可能でレポート駆動の探索のためのWebベースのビジュアル分析プラットフォームと、スケーラブルな技術的ワークフローのためのコマンドラインインターフェースを組み合わせた表現分析リソースであるLatentVerseを紹介する。
LatentVerseは、さまざまな表現品質メトリクスの診断を統一し、埋め込みを共有コンポーネントとモダリティ固有のコンポーネントに分解することで、マルチモーダル設定に拡張する。
実生医学的な埋め込みの発見指向分析と多様なユースケースを対象としたユーザスタディにより,LatentVerseの評価を行った。
LatentVerseは、潜伏空間の徹底的かつ解釈可能な評価をサポートすることにより、バイオメディカルおよびデータサイエンスの応用において、基礎モデル表現をより理解しやすくする。
関連論文リスト
- Volumetric Radiology AI in the Era of Multimodal Large Language Models [62.95443321443533]
ボリュームラジオロジーは、基本的な表現ミスマッチを示します。
現在の大言語モデル(MLLM)は、選択された2次元(2次元)画像、圧縮された視覚表現、またはレポート由来のテキストに条件付けされている。
信頼性の高い放射線学 AIは、タスクに関連する3D情報と、これらの情報にアクセスし、検証し、統合できるシステムを保存する表現を必要とする。
論文 参考訳（メタデータ） (2026-08-20T20:23:41Z) - MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。
本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。
今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
論文 参考訳（メタデータ） (2026-06-04T20:24:47Z) - Foundation Models in Medical Image Analysis: A Systematic Review and Meta-Analysis [7.905460364844281]
ファンデーションモデル(FM)は、医療画像解析に革命をもたらし、様々な医療画像タスクにおいて、ゼロショットと少数ショットのパフォーマンスを強く証明している。
FMは、ラベル付きおよびラベルなしのマルチモーダルデータセットの大規模なコーパスを利用して、一般化された表現を学習する。
医療画像におけるFM研究の急速な普及にもかかわらず、フィールドは断片化されている。
本稿では,医療画像解析におけるFMの包括的かつ構造化された分析について述べる。
論文 参考訳（メタデータ） (2025-10-19T19:19:23Z) - Platform for Representation and Integration of multimodal Molecular Embeddings [43.54912893426355]
既存の分子埋め込みのための機械学習手法は、特定のタスクやデータモダリティに制限されている。
既存の埋め込みは、ほとんど重複しない分子信号を取り込んでおり、埋め込み統合の価値を強調している。
我々は,多モード分子埋め込み(PRISME)の表現と統合のためのプラットフォームを提案し,不均一な埋め込みを統一された多モード表現に統合する。
論文 参考訳（メタデータ） (2025-07-10T01:18:50Z) - Explainable Artificial Intelligence in Biomedical Image Analysis: A Comprehensive Survey [14.834301782789277]
我々はXAI法を体系的に分類し,その基礎となる原理,強度,限界をバイオメディカルな文脈で分析する。
説明可能なバイオメディカルAIにおけるマルチモーダル学習と視覚言語モデルの役割について検討する。
論文 参考訳（メタデータ） (2025-07-09T08:42:14Z) - A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。
本稿では,MVLMの概要と適用した各種医療課題について概観する。
また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
論文 参考訳（メタデータ） (2024-11-19T03:27:05Z) - Causal Representation Learning from Multimodal Biomedical Observations [57.00712157758845]
バイオメディカルデータセットの理解を容易にするために,マルチモーダルデータに対するフレキシブルな識別条件と原理的手法を開発した。
主要な理論的貢献は、モジュラリティ間の因果関係の構造的空間性である。
実世界のヒト表現型データセットの結果は、確立された生物医学研究と一致している。
論文 参考訳（メタデータ） (2024-11-10T16:40:27Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - Encoding Domain Knowledge in Multi-view Latent Variable Models: A
Bayesian Approach with Structured Sparsity [7.811916700683125]
MuVI はドメインインフォームド・マルチビュー潜在変数モデルのための新しいアプローチである。
私たちのモデルは、機能セットの形でノイズの多いドメインの専門知識を統合することができることを実証しています。
論文 参考訳（メタデータ） (2022-04-13T08:22:31Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。