論文の概要: Brain-Adapter: A Dual-Stream Vision-Language MIL Framework for Comprehensive 3D CT Diagnosis of Acute Intracranial Pathologies

• arxiv url: http://arxiv.org/abs/2606.23494v1
• Date: Mon, 22 Jun 2026 15:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 18:42:45.750242
• Title: Brain-Adapter: A Dual-Stream Vision-Language MIL Framework for Comprehensive 3D CT Diagnosis of Acute Intracranial Pathologies
• Title（参考訳）: Brain-Adapter:急性頭蓋内病変の3次元CT診断のためのDual-Stream Vision-Language MILフレームワーク
• Authors: Zhenyu Yi, Zhiyun Song, Yusong Sun, Zelin Liu, Manman Fei, Zhenhao Li, Jiaxuan Zhao, Xu Han, Lichi Zhang,
• Abstract要約: Brain-Adapterは、新しいデュアルストリームマルチインスタンス学習フレームワークである。 提案手法は,最先端の3Dモデルと標準MIL手法を大幅に上回っている。
• 参考スコア（独自算出の注目度）: 8.984636910625886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated diagnosis of 3D brain CT scans is essential for critical care, yet it remains challenging due to the heavy reliance on manual annotations and the limited semantic understanding of conventional models. While 2D foundation vision-language models (VLMs) have shown remarkable generalization, effectively transferring their representational power to 3D volumes remains an open problem. In this paper, we propose Brain-Adapter, a novel dual-stream multiple instance learning (MIL) framework that leverages pre-trained 2D biomedical VLMs and raw diagnostic reports for robust scan-level multi-label classification. Specifically, we introduce a Text-Conditioned Attention (TCA) mechanism, utilizing raw diagnostic sentences as semantic queries to dynamically align visual cues with specific disease concepts. Concurrently, a parallel visual MIL stream captures global scan characteristics, supervised by structured labels extracted via a Large Language Model (LLM). To ensure representation coherence, a consistency constraint enforces synergy between the two streams. During inference, an Uncertainty-Aware Refinement (UAR) module dynamically calibrates and fuses these dual-stream predictions to resolve ambiguous cases. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art 3D models and standard MIL approaches. By eliminating the reliance on dense annotations, Brain-Adapter provides a highly scalable and clinically viable solution for 3D acute intracranial pathology analysis.
• Abstract（参考訳）: 3次元脳CTスキャンの自動診断は、重要な治療に不可欠であるが、手動アノテーションへの依存と従来のモデルの限定的な意味的理解のため、依然として困難である。 2次元基礎視覚言語モデル(VLM)は顕著な一般化を示したが、その表現力を3Dボリュームに効果的に転送することは未解決の問題である。 本稿では,2次元バイオメディカルVLMの事前学習と,スキャンレベルのマルチラベル分類のための生診断レポートを活用した,新しいデュアルストリームマルチインスタンス学習(MIL)フレームワークであるBrain-Adapterを提案する。 具体的には、生の診断文をセマンティッククエリとして利用し、視覚的手がかりと特定の疾患概念を動的に整合させるTCA(Text-Conditioned Attention)機構を提案する。 同時に、並列ビジュアルMILストリームは、Large Language Model (LLM)を介して抽出された構造化ラベルによって教師されるグローバルスキャン特性をキャプチャする。 表現コヒーレンスを確保するために、一貫性制約は2つのストリーム間のシナジーを強制する。 推論中、不確実性認識リファインメント(UAR)モジュールは動的に校正し、これらの二重ストリーム予測を融合して曖昧なケースを解決する。 大規模な実験により,本手法は最先端の3Dモデルや標準MIL手法よりも優れていることが示された。 高濃度アノテーションへの依存をなくすことにより、Brain-Adapterは3D急性頭蓋内病理解析のための高度にスケーラブルで臨床的に実行可能なソリューションを提供する。

関連論文リスト

• Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke [4.272151451487239]
  本稿では,虚血性脳梗塞に対する新しい3モーダル融合モデルを提案する。 脳MRIから半構造化診断テキストを自動的に生成するために,Large Language Model (LLM) を用いる。 また、ビジョンコンディションドデュアルアライメント・フュージョンモジュールと呼ばれるコアコンポーネントを設計する。
  論文  参考訳（メタデータ） (2026-05-14T11:28:57Z)
• Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis [52.32262701215441]
  マルチモーダル大言語モデル(MLLM)は、堅牢な知覚能力、強力なクロスモーダルアライメント、有望な一般化性を示す。 3D医療画像の不足により、既存の3D医療MLLMは、十分に事前訓練された視覚エンコーダと、カスタマイズされた画像の特徴を抽出することができない。 本稿では,テキストプロンプトの指導の下でタスクを識別できるテキストガイド型階層型MoEフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-11T14:36:05Z)
• MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
  MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。 我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
  論文  参考訳（メタデータ） (2026-03-12T07:37:00Z)
• Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge [66.67024684187915]
  LVLM(Large Vision Language Models)は、眼科における自動診断の可能性を秘めている。 彼らの臨床展開は、ドメイン固有の知識の欠如によって著しく妨げられている。 EyExInは、Deep Expert Injectionメカニズムを通じて専門知識で網膜VLMを固定するように設計されたフレームワークである。
  論文  参考訳（メタデータ） (2026-03-07T09:43:49Z)
• Med3D-R1: Incentivizing Clinical Reasoning in 3D Medical Vision-Language Models for Abnormality Diagnosis [20.302134776419955]
  我々は,2段階の学習プロセスを持つ強化学習フレームワークを提案する: 教師付きファインチューニング(SFT)と強化学習(RL)。 RLの段階では、整合性報酬を再定義し、整合性、ステップバイステップの診断推論を明示的に促進する。 本モデルではCT-RATEでは41.92%,RAD-ChestCTでは44.99%の精度が得られた。
  論文  参考訳（メタデータ） (2026-02-01T12:43:11Z)
• Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
  MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。 MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
  論文  参考訳（メタデータ） (2026-01-29T13:05:46Z)
• RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis [56.373297358647655]
  Retrieval-Augmented Diagnosis (RAD)は、下流タスクで直接マルチモーダルモデルに外部知識を注入する新しいフレームワークである。 RADは、複数の医療ソースからの疾患中心の知識の検索と改善、ガイドライン強化コントラスト損失トランスフォーマー、デュアルデコーダの3つの主要なメカニズムで機能する。
  論文  参考訳（メタデータ） (2025-09-24T10:36:14Z)
• Data-Efficient Fine-Tuning of Vision-Language Models for Diagnosis of Alzheimer's Disease [3.46857682956989]
  医用視覚言語モデル(Med-VLMs)は、レポート生成や視覚的質問応答といったタスクにおいて印象的な結果を示している。 既存のモデルの多くは、スクラッチからトレーニングするか、大規模な2D画像テキストペアで微調整されるのが一般的である。 我々は3次元MRIに3次元CTベースのMed-VLMを適用するためのデータ効率の良い微調整パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-09-09T11:36:21Z)
• MG-3D: Multi-Grained Knowledge-Enhanced 3D Medical Vision-Language Pre-training [7.968487067774351]
  3次元医用画像解析は多くの臨床応用において重要である。 3次元医用画像解析では、大規模視覚言語による事前訓練がまだ検討されていない。 大規模データ(47.1K)に基づいて事前学習したMG-3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-08T09:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。