論文の概要: Geometry-Supervised Visual Representation Learning for Multi-Phenotype Lesion Interpretation in Medical VLMs
- arxiv url: http://arxiv.org/abs/2610.10238v1
- Date: Wed, 07 Oct 2026 15:22:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.990938
- Title: Geometry-Supervised Visual Representation Learning for Multi-Phenotype Lesion Interpretation in Medical VLMs
- Title（参考訳）: 医用VLMにおける多現象型病変解釈のための幾何学的教師付き視覚表現学習
- Abstract要約: 医用視覚言語モデル(VLM)は、臨床画像解釈の可能性が高まっている。
既存の視覚言語アライメント手法は、解剖学的階層や表現型サブクラス間の関係を保存できない視覚表現を生成する。
マルチフェノタイプ病変の解釈のための幾何学的教師付き視覚表現学習フレームワークである textbfPureVision を提案する。
- 参考スコア（独自算出の注目度）: 10.64386569726394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical vision-language models (VLMs) have shown increasing potential for clinical image interpretation. However, these models still struggle to interpret multi-phenotype lesions whose diagnosis requires the joint assessment of multiple pathological phenotypes. Existing vision-language alignment methods produce visual representations that fail to preserve anatomical hierarchies and relationships among phenotypic subclasses. This stems from their reliance on semantic supervision, which lacks geometric constraints to preserve these relationships in the visual embedding space. Moreover, the sparsity of lesion-related anatomical and phenotypic representations makes it difficult for medical VLMs to capture important diagnostic evidence. To address these limitations, we propose \textbf{PureVision}, a geometry-supervised visual representation learning framework for multi-phenotype lesion interpretation in medical VLMs. It combines a geometry-supervised representation learning module, \textbf{PureEyes}, and an anatomy-guided evidence aggregation module, \textbf{PureNeurons}. PureEyes provides geometric supervision through ideal spatial distributions that encode anatomical hierarchies and phenotypic subclass relationships. PureNeurons projects visual representations into the learned latent space, using their positions to selectively aggregate lesion-specific anatomical and phenotypic evidence. Experiments on \textit{LIDC-IDRI}, \textit{CBIS-DDSM}, and \textit{3DReasonKnee} demonstrate that PureVision improves lesion grounding and phenotype characterization in visual question answering and radiology report generation. Code is available at: https://anonymous.4open.science/r/purevision-06C2.
- Abstract（参考訳）: 医用視覚言語モデル(VLM)は、臨床画像解釈の可能性が高まっている。
しかし,これらのモデルでは,複数の病型を共同診断する必要がある多型病変の解釈に苦慮している。
既存の視覚言語アライメント手法は、解剖学的階層や表現型サブクラス間の関係を保存できない視覚表現を生成する。
これは、視覚的な埋め込み空間におけるこれらの関係を維持するための幾何学的制約が欠如している意味的監督への依存に起因している。
さらに, 病変関連解剖学的, 表現型表現の空間性は, 医用VLMが重要な診断証拠をつかむのを困難にしている。
これらの制約に対処するために,医療用VLMにおける多相性病変解釈のための幾何学的教師付き視覚表現学習フレームワークである「textbf{PureVision}」を提案する。
幾何学的に教師付き表現学習モジュールである \textbf{PureEyes} と解剖学的に誘導されたエビデンスアグリゲーションモジュールである \textbf{PureNeurons} を組み合わせる。
PureEyesは、解剖学的階層と表現型サブクラス関係を符号化する理想的な空間分布を通して幾何学的監督を提供する。
PureNeuronsは学習した潜在空間に視覚的表現を投影し、その位置を利用して、病変特異的な解剖学的および表現学的証拠を選択的に集約する。
The experiments on \textit{LIDC-IDRI}, \textit{CBIS-DDSM}, and \textit{3DReasonKnee} showed that PureVision improves lesion grounding and expressiontype characterization in visual questioning and radiology report generation。
コードは、https://anonymous.4open.science/r/purevision-06C2で入手できる。
関連論文リスト
- $Δ$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs [10.799852886898927]
対実的推論に基づく視覚表現型表現学習フレームワークである textbf$$Representation を提案する。
BaseAnatomyは、解剖学的構造をまたいだ空間的関係を通して、きめ細かい幾何学的監督を提供する。
$$Phenotypeは病変の表現とそれに対応する正常な解剖学的表現の間の表現インクリメントを計算する。
論文 参考訳（メタデータ） (2026-10-07T15:49:36Z) - EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive Alignment [15.371433625713232]
EndoVLMは348K以上の内視鏡検査で事前訓練された新しい視覚言語FMである。
Anatomy-Guided Sparse Poolingメカニズムは、テキスト記述をクエリとして利用してスパース注意を喚起する。
プログレッシブ・セマンティック・アウェア・アライメント・ストラテジー(Progressive Semantic-Aware Alignment Strategy)は、構造化されたソフトターゲットを介して臨床分類(解剖学と病理学)をモデル化する。
Semantic-Concentrated Masked Autoencoderは、これらのセマンティックリッチなフレームにのみ適用され、低レベルの視覚的精度と堅牢な高レベルのセマンティック表現を統合する。
論文 参考訳（メタデータ） (2026-08-05T05:56:41Z) - Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models [33.30452735577703]
位置認識表現学習に基づく医用視覚基礎モデルであるLoFiを提案する。
我々は4.48M画像テキストボックス三重項からなる大規模医療基盤データセットであるMedGを構築した。
LoFiは、汎用および医療ビジョンの基礎モデルと最先端のLVLMを一貫して上回っている。
論文 参考訳（メタデータ） (2026-08-02T03:59:07Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-27T02:41:27Z) - PhenoLIP: Integrating Phenotype Ontology Knowledge into Medical Vision-Language Pretraining [71.60950593762719]
PhenoLIPは、構造化表現型知識を医療画像理解に組み込む新しい事前学習フレームワークである。
PhenoLIPは、医学画像理解における最先端のアプローチよりも優れている。
論文 参考訳（メタデータ） (2026-02-05T20:44:07Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Seeing the Trees for the Forest: Rethinking Weakly-Supervised Medical Visual Grounding [45.248265283405004]
現在のモデルは、非効率な注意機構ときめ細かいトークン表現の欠如により、テキスト記述と病気領域を関連付けるのに苦労している。
本稿では、VLMの説明可能性マップを用いて、適切な画像特徴を識別する病原体認識プロンプト(DAP)を提案する。
DAPは3つの主要な胸部X線データセットの最先端手法と比較して、視覚的接地精度を20.74%向上させる。
論文 参考訳（メタデータ） (2025-05-21T05:16:45Z) - From Gaze to Insight: Bridging Human Visual Attention and Vision Language Model Explanation for Weakly-Supervised Medical Image Segmentation [48.45209969191245]
視覚言語モデル(VLM)は、テキスト記述を通して意味的コンテキストを提供するが、説明精度は欠如している。
本稿では,その補完的強みを活かし,視線と言語指導を統合した教師教育フレームワークを提案する。
本手法は,8.78%,80.53%,84.22%のDiceスコアをそれぞれ達成し,アノテーション負担を増大させることなく視線ベースラインよりも3.5%向上した。
論文 参考訳（メタデータ） (2025-04-15T16:32:15Z) - See Detail Say Clear: Towards Brain CT Report Generation via Pathological Clue-driven Representation Learning [12.40415847810958]
本稿では,病的手がかりに基づくクロスモーダルな表現を構築するためのPCRLモデルを提案する。
具体的には,分類領域,病理実体,報告テーマの観点から,病理的手がかりを構築した。
テキスト生成タスクの表現に適応するため,タスク調整命令を統一した大言語モデル(LLM)を用いて,表現学習とレポート生成のギャップを埋める。
論文 参考訳（メタデータ） (2024-09-29T12:08:20Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳（メタデータ） (2024-03-21T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。