論文の概要: Integrating Unimodal and Vision-Language Representations in Latent Space for Multi-Label Chest X-Ray Classification
- arxiv url: http://arxiv.org/abs/2609.09185v1
- Date: Mon, 31 Aug 2026 01:44:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.729934
- Title: Integrating Unimodal and Vision-Language Representations in Latent Space for Multi-Label Chest X-Ray Classification
- Title（参考訳）: マルチラベル胸部X線分類のための潜在空間における一様・視線表現の統合
- Abstract要約: 本研究は,MIMIC-CXR-JPGデータセットにおける14ラベルの分類のために,RAD-DINOからの一助表現とBioViL-Tからの視覚言語表現を組み合わせたフレームワークを提案する。
RAD-DINOは単独で使用するとBioViL-Tより優れ、初期の核融合は結果をさらに改善する。
- 参考スコア（独自算出の注目度）: 1.6501171378935562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-label chest X-ray classification has attracted considerable attention in recent years, with the effective use of visual representations and clinical semantic knowledge playing an important role. This study proposes a framework that combines unimodal representations from RAD-DINO with vision--language representations from BioViL-T for the classification of 14 labels in the MIMIC-CXR-JPG dataset. The RAD-DINO and BioViL-T embeddings and their combined representation are refined separately in latent space before being normalized and fused across the three branches. In addition to improving classification performance, the study aims to clarify the role of each embedding source and the degree to which they complement one another. Experiments show that RAD-DINO outperforms BioViL-T when used independently, whereas early fusion further improves the results, indicating that the two embedding sources contain complementary information. The best-performing model achieves a mean AUROC of 0.840 and an mAP of 0.467. Ablation analysis shows that hybrid fusion provides consistent and statistically significant improvements over early fusion when each embedding source is refined in latent space, suggesting that fusion effectiveness depends on the quality of the representation supplied by each branch. However, the study has only been evaluated internally on MIMIC-CXR-JPG; its generalizability to data from other healthcare institutions therefore remains to be validated. The source code is available at: https://anonymous.4open.science/r/mimic-report-C210/.
- Abstract（参考訳）: 近年,多ラベル胸部X線分類が注目されており,視覚的表現と臨床的意味知識の有効活用が重要な役割を担っている。
本研究は,MIMIC-CXR-JPGデータセットにおける14ラベルの分類のために,RAD-DINOからの一助表現とBioViL-Tからの視覚言語表現を組み合わせたフレームワークを提案する。
RAD-DINOとBioViL-Tの埋め込みとそれらの複合表現は、3つの枝にまたがって正規化され融合される前に、遅延空間で別々に洗練される。
本研究は,分類性能の向上に加えて,各埋め込み源の役割と,それらが相互に補完する程度を明らかにすることを目的とする。
実験により、RAD-DINOはBioViL-Tを独立に使用すると性能が向上するのに対し、早期核融合は結果をさらに改善し、2つの埋め込み源が相補的な情報を含んでいることが示された。
最高の性能モデルでは平均AUROCは0.840、mAPは0.467となる。
アブレーション解析により, 各埋め込み源が潜時空間で精製された場合, ハイブリッド核融合は早期核融合よりも一貫した統計的に有意な改善をもたらすことが明らかとなり, 融合の有効性は各枝から供給される表現の質に依存することが示唆された。
しかし、この研究はMIMIC-CXR-JPGでのみ内部で評価されており、他の医療機関のデータへの一般化性は検証されていない。
ソースコードは、https://anonymous.4open.science/r/mimic-report-C210/で入手できる。
関連論文リスト
- ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。
我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。
ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
論文 参考訳（メタデータ） (2026-07-27T17:59:49Z) - An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion [1.5420873135976756]
本稿では,がん分類におけるマルチモーダル医療データの統合のための補完的アプローチを提案する。
混合核融合(Mixed Fusion)と呼ばれる混合多モード核融合アーキテクチャは、意思決定プロセスの解釈可能性を高めるために用いられた。
論文 参考訳（メタデータ） (2026-06-17T16:43:01Z) - LUMINA: A Multi-Vendor Mammography Benchmark with Energy Harmonization Protocol [9.075009508165273]
このデータセットは、病理診断されたラベル、BI-RADSアセスメント、乳腺密度アノテーションを持つ468人の患者の1824枚の画像を含んでいる。
LUMINAは6つの取得システムにまたがっており、高エネルギーと低エネルギーの撮像方式がある。
我々は,診断,BI-RADS分類,密度推定の3つの臨床的課題について,CNNとトランスフォーマーモデルをベンチマークした。
論文 参考訳（メタデータ） (2026-03-15T22:41:40Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:09:31Z) - Interpreting Biomedical VLMs on High-Imbalance Out-of-Distributions: An Insight into BiomedCLIP on Radiology [0.0]
我々は、高度にバランスの取れない、アウト・オブ・ディストリビューションな医療データセットに適用した場合、BiomedCLIPの限界を分析する。
ゼロショット設定下でのモデルは,すべてのラベルを過度に予測し,精度の低下とクラス間分離性に繋がることを示す。
我々は、現実の環境で信頼性と適用性を高めるために、モデルの慎重な適応の必要性を強調します。
論文 参考訳（メタデータ） (2025-06-17T02:59:42Z) - Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.418265127069878]
本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。
この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
論文 参考訳（メタデータ） (2024-11-26T13:25:53Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳（メタデータ） (2023-06-25T16:55:32Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。