論文の概要: Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment
- arxiv url: http://arxiv.org/abs/2608.19825v1
- Date: Thu, 20 Aug 2026 09:25:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.521955
- Title: Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment
- Title（参考訳）: ヴィジュアル・ランゲージ・アライメントによる臨床的に忠実な医用画像キャプションの実現に向けて
- Abstract要約: 本稿では,トレーニング時間アライメントと推論時間アライメントを分離し,強化することにより臨床アライメントを強化する枠組みを提案する。
医用画像キャプションパイプラインを構築し,BioMedCLIPとSigLIP2,Q-Former,LLaMAをベースとしたデコーダを併用する。
複数エンコーダの設計と概念レベルの補助学習による相補的な視覚表現は臨床的に意味のある情報を保存するのに役立つことを示す実験である。
- 参考スコア（独自算出の注目度）: 10.863931022237757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical image captioning is a technique that accelerates early-stage diagnostic workflows and enhances the interpretability of medical diagnostic AI systems. However, unlike general image captioning, clinically reliable captioning remains challenging due to grayscale-based modalities, subtle anatomical cues, specialized medical phrasing, and variations in data quality. Despite recent advances in large vision-language models, fluent outputs do not necessarily guarantee sufficient alignment with clinical concept spaces or evaluation criteria. To address this issue, we propose a framework that strengthens clinical alignment by separating and enhancing training-time alignment and inference-time alignment. We build a medical image captioning pipeline that integrates single/dual vision encoders based on BioMedCLIP and SigLIP2, a Q-Former, and a LLaMA-based decoder, and examine the contribution of auxiliary learning for UMLS concept/type prediction. At inference, we apply single-embedding-based reranking to select the best caption among candidates, while at training we introduce MedPAIR-SCST, which combines clinically relevant rewards to shift the generative distribution toward improved clinical alignment. Our experiments show that complementary visual representations with a multi-encoder design and concept-level auxiliary learning help preserve clinically meaningful information. Furthermore, inference-time reranking provides a practical way to improve semantic and clinical alignment without additional training, whereas MedPAIR-SCST goes beyond selection by directly improving the model's distribution to generate more consistent and clinically grounded captions. These findings suggest that jointly leveraging selection-based alignment and reinforcement-learning-based alignment can promote more trustworthy medical image captioning even in data-constrained settings.
- Abstract（参考訳）: 医用画像キャプションは、早期診断ワークフローを加速し、医療診断AIシステムの解釈可能性を高める技術である。
しかし、一般的な画像キャプションとは異なり、グレースケールベースのモダリティ、微妙な解剖学的手がかり、専門的な医療的言い回し、データ品質の変化により、臨床的に信頼性の高いキャプションは依然として困難である。
近年の大規模視覚言語モデルの発展にもかかわらず、流動的な出力は必ずしも臨床概念空間や評価基準との十分な整合性を保証するとは限らない。
この問題に対処するために,トレーニング時間アライメントと推論時間アライメントを分離し,強化することにより臨床アライメントを強化するフレームワークを提案する。
医用画像キャプションパイプラインを構築し,BioMedCLIPとSigLIP2,Q-Former,LLaMAベースのデコーダを併用し,UMLS概念/型予測における補助学習の寄与を検討する。
MedPAIR-SCSTは, 臨床応用と臨床応用の両立を図り, 臨床応用と臨床応用の両立を図ったものである。
本実験は, マルチエンコーダ設計と概念レベルの補助学習と相補的な視覚表現が臨床的に有意な情報を保存するのに役立つことを示す。
さらに、推論時間の再評価は、追加のトレーニングなしで意味的および臨床的アライメントを改善するための実践的な方法を提供する一方、MedPAIR-SCSTはモデルの分布を直接改善し、より一貫性があり臨床に根ざしたキャプションを生成する。
これらの結果から,データ制約条件下であっても,選択に基づくアライメントと強化学習に基づくアライメントを併用することで,医療画像のキャプションの信頼性を高めることが示唆された。
関連論文リスト
- Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。
コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。
BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-09-14T10:21:23Z) - Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs [53.697403481143404]
LVLM(Large Vision-Language Models)は、医用画像処理タスクにおいて強力なパフォーマンスを実現している。
しかし、実際の不整合、視力の低下、臨床的に有意義なフィードバックによる不一致が続く傾向にある。
論文 参考訳（メタデータ） (2026-06-10T18:35:36Z) - MedLayBench-V: A Large-Scale Benchmark for Expert-Lay Semantic Alignment in Medical Vision Language Models [2.0221473384338884]
MedLayBench-Vは、エキスパート・レイ・セマンティックアライメントに特化した最初の大規模マルチモーダル・ベンチマークである。
MedLayBench-Vは、臨床専門家と患者の間のコミュニケーションの分断をブリッジできる次世代のMed-VLMの訓練と評価のための検証された基盤を提供する。
論文 参考訳（メタデータ） (2026-04-07T11:39:41Z) - Prompt-Aware Adaptive Elastic Weight Consolidation for Continual Learning in Medical Vision-Language Models [0.0]
医用視覚言語モデルは、医用画像と臨床用語の間の横断的なアライメントを維持する必要がある。
本稿では,新しい連続学習手法であるPrompt-Aware Adaptive Elastic Weight Consolidation (PA-EWC)を紹介する。
実験の結果、PA-EWCは基準法に比べて最大17.58%の破滅的な忘れ込みを減少させることが示された。
論文 参考訳（メタデータ） (2025-11-25T12:22:56Z) - MIRNet: Integrating Constrained Graph-Based Reasoning with Pre-training for Diagnostic Medical Imaging [67.74482877175797]
MIRNetは、自己教師付き事前学習と制約付きグラフベースの推論を統合する新しいフレームワークである。
TongueAtlas-4Kは,22の診断ラベルを付した4,000枚の画像からなるベンチマークである。
論文 参考訳（メタデータ） (2025-11-13T06:30:41Z) - MedCLM: Learning to Localize and Reason via a CoT-Curriculum in Medical Vision-Language Models [0.11666234644810893]
検出データセットを大規模医療視覚質問応答(VQA)データとChain-of-Thought(CoT)推論に変換する自動パイプラインであるMedCLMを紹介する。
視覚的接地のための明示的な病変箱を備えた簡易な段階,暗黙的な局所化を促す中段階,弱教師付き推論のためのハードステージからなる総合的なCoT-Curriculum戦略を提案する。
論文 参考訳（メタデータ） (2025-10-06T04:26:39Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Bringing CLIP to the Clinic: Dynamic Soft Labels and Negation-Aware Learning for Medical Analysis [0.9944647907864256]
臨床的に強化されたダイナミック・ソフト・ラベルと医用グラフィカル・アライメントを統合した新しいアプローチを提案する。
われわれのアプローチは、医療用CLIPトレーニングパイプラインに容易に統合され、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-28T08:00:18Z) - Clinical Evaluation of Medical Image Synthesis: A Case Study in Wireless Capsule Endoscopy [63.39037092484374]
人工知能(AI)に基づく合成データ生成は、臨床医学の届け方を変えることができる。
本研究は,無線カプセル内視鏡(WCE)画像を用いた炎症性腸疾患(IBD)の診断における概念実証による医療用SDGの臨床評価に焦点を当てた。
その結果、TIDE-IIは、最先端の生成モデルと比較して品質が向上し、臨床的に可塑性で、非常に現実的なWCE画像を生成することがわかった。
論文 参考訳（メタデータ） (2024-10-31T19:48:50Z) - CLIP in Medical Imaging: A Survey [59.429714742927956]
コントラスト言語-画像事前学習は、視覚モデルにテキスト管理を導入することに成功している。
CLIPの使用は最近、医療画像領域への関心が高まっている。
論文 参考訳（メタデータ） (2023-12-12T15:21:57Z) - IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.04212780946932]
階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。
このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
論文 参考訳（メタデータ） (2023-10-11T10:12:43Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳（メタデータ） (2020-10-09T14:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。