論文の概要: DREAM: Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion for Expert Precision Medical Report Generation

• arxiv url: http://arxiv.org/abs/2604.17209v1
• Date: Sun, 19 Apr 2026 02:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.391601
• Title: DREAM: Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion for Expert Precision Medical Report Generation
• Title（参考訳）: DREAM: エキスパート精密医療レポート作成のための適応型マルチモーダルフュージョンによる動的網膜増強
• Abstract要約: DREAMは、高忠実度医療報告生成のための新しいフレームワークである。 視覚データを眼科医がキュレートした臨床キーワードとインテリジェントに統合する、ユニークな2段階融合機構を採用している。 DeepEyeNetベンチマークでは、BLEU-4スコアが0.241に達した。
• 参考スコア（独自算出の注目度）: 3.1912286225194877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automating medical reports for retinal images requires a sophisticated blend of visual pattern recognition and deep clinical knowledge. Current Large Vision-Language Models (LVLMs) often struggle in specialized medical fields where data is scarce, leading to models that overfit and miss subtle but critical pathologies. To address this, we introduce DREAM (Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion), a novel framework for high-fidelity medical report generation that excels even with limited data. DREAM employs a unique two-stage fusion mechanism that intelligently integrates visual data with clinical keywords curated by ophthalmologists. First, the Abstractor module maps image and keyword features into a shared space, enhancing visual data with pathology-relevant insights. Next, the Adaptor performs adaptive multi-modal fusion, dynamically weighting the importance of each modality using learnable parameters to create a unified representation. To ensure the model's outputs are semantically grounded in clinical reality, a Contrastive Alignment module aligns these fused representations with ground-truth medical reports during training. By combining medical expertise with an efficient fusion strategy, DREAM sets a new state-of-the-art on the DeepEyeNet benchmark, achieving a BLEU-4 score of 0.241, and further demonstrates strong generalization to the ROCO dataset.
• Abstract（参考訳）: 網膜画像の医療報告の自動化には、視覚パターン認識と深い臨床知識の融合が必要である。 現在のLVLM(Large Vision-Language Models)は、データが乏しい特殊な医療分野に苦しむことが多く、過度に適合し、微妙だが重要な病理を見逃すモデルに繋がる。 そこで我々はDREAM(Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion)を紹介した。 DREAMは、視覚データを眼科医がキュレートした臨床キーワードとインテリジェントに統合する、ユニークな2段階融合機構を採用している。 まず、Abstractorモジュールは画像とキーワードの機能を共有スペースにマップし、病理関連洞察で視覚データを拡張します。 次に、Adaptorは適応的なマルチモーダル融合を行い、学習可能なパラメータを用いて各モーダルの重要性を動的に重み付け、統一表現を生成する。 Contrastive Alignmentモジュールは、モデルのアウトプットが臨床的現実に意味論的に基礎を置いていることを保証するため、これらの融合した表現をトレーニング中の地味な医療報告と整合させる。 医療の専門知識と効率的な融合戦略を組み合わせることで、DREAMはDeepEyeNetベンチマークに新たな最先端技術を設定し、BLEU-4スコアの0.241を達成し、ROCOデータセットへの強力な一般化を示す。

関連論文リスト

• ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
  MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。 我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
  論文  参考訳（メタデータ） (2026-07-27T17:59:49Z)
• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development [314.80153557710616]
  我々は、1,000以上のオープンアクセスデータセットをカバーする、医療画像データセットの現在における最大の調査を提示する。 私たちの分析では、範囲が狭いタスクにまたがって断片化され、臓器やモダリティに不均一に分散した、質素なスケールのランドスケープを公開しています。 本稿では,メタデータ駆動型融合パラダイム(MDFP)を提案する。
  論文  参考訳（メタデータ） (2026-03-29T00:46:53Z)
• MedGround: Bridging the Evidence Gap in Medical Vision-Language Models with Verified Grounding Data [32.65971100171597]
  セグメンテーションリソースを高品質な医療参照基盤データに変換する自動パイプラインであるMedGroundを紹介する。 我々はまた、MedGround-35Kという新しいマルチモーダル医療データセットを提示する。
  論文  参考訳（メタデータ） (2026-01-11T10:34:18Z)
• Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models [45.285970665585914]
  本稿では,継続的学習のための包括的枠組みを提案する。 モデル微調整のためのリアルタイムガイダンスを提供するマルチモーダル多層RAGシステムを用いる。 動的知識蒸留フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-15T08:09:40Z)
• Multimodal Large Language Models for Medical Report Generation via Customized Prompt Tuning [20.195025131749944]
  本稿では,冷凍LLMと学習可能なビジュアルエンコーダを組み合わせたMLLMであるMRG-LLMを提案する。 提案手法は, 即時的, 即時的, 即時的なカスタマイズで, 正確な, 対象とするレポート生成を可能にする2つの実装を提案する。
  論文  参考訳（メタデータ） (2025-06-18T14:09:34Z)
• PRETI: Patient-Aware Retinal Foundation Model via Metadata-Guided Representation Learning [3.771396977579353]
  PreTIは、メタデータ認識学習と堅牢な自己教師付き表現学習を統合した網膜基盤モデルである。 患者レベルのデータペアを構築し、同一人物の画像を関連付けることにより、非臨床的変動に対する堅牢性を向上させる。 実験では、PreTIは様々な疾患やバイオマーカー予測にまたがって最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-18T04:59:03Z)
• Any-to-Any Vision-Language Model for Multimodal X-ray Imaging and Radiological Report Generation [26.589728923739596]
  マルチモーダル医療データ生成に特化して設計されたフレームワークを提案する。 多視点胸部X線の発生と臨床報告により、汎用視覚言語モデルと医療の専門的要件とのギャップを埋める。 我々のフレームワークは、下流疾患分類タスクの実際のデータと比較して、同等またはそれ以上の性能を実現している。
  論文  参考訳（メタデータ） (2025-05-02T08:07:24Z)
• ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models [95.47808515575382]
  ExGra-Medは、医療AIのビジョン言語統合のための新しいフレームワークである。 画像、命令応答、拡張キャプションを潜在空間にアライメントし、セマンティックグラウンドとクロスモーダルコヒーレンスを前進させる。 プレトレーニングデータの10%しか使用せず、VQA-RADで20.13%向上し、フルデータパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• LLM-driven Multimodal Target Volume Contouring in Radiation Oncology [46.23891509553877]
  大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。 LLM駆動型マルチモーダルAI,すなわちLLMSegを提案する。 提案モデルでは,従来のユニモーダルAIモデルと比較して,性能が著しく向上していることが実証された。
  論文  参考訳（メタデータ） (2023-11-03T13:38:42Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。