論文の概要: LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning
- arxiv url: http://arxiv.org/abs/2608.23853v1
- Date: Mon, 24 Aug 2026 21:51:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.639462
- Title: LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning
- Title（参考訳）: LUX: 説明可能な内視鏡的キャプションのための視覚-言語アーキテクチャ
- Abstract要約: 本稿では,LUX (Lesion-aware Unified eXplainable Casting) について紹介する。
LUXはGrad-CAMとCBAMのアクティベーションマップから病変中心のシーングラフを構築し、病理領域をノードとして表現する。
言語内容と病理的証拠の直接的な一致を提供し、トークンレベルの解釈可能性と関係推論をサポートする。
- 参考スコア（独自算出の注目度）: 6.4112282834491765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The interpretation of endoscopic imagery in ulcerative colitis is complex and subjective, with variability in human assessment and subtle mucosal inflammation. Although deep learning has advanced automated analysis, most vision-language models rely on global visual embeddings that overlook the localized and relational nature of pathological evidence, limiting clinical reliability and interpretability. We introduce LUX (Lesion-aware Unified eXplainable captioning), a graph-conditioned vision-language architecture for explainable endoscopic image captioning. LUX constructs a lesion-centric scene graph from Grad-CAM and CBAM activation maps, representing pathological regions as nodes and encoding their spatial and clinical relationships. These graph embeddings are integrated into the cross-attention layers of a T5 decoder, enabling generated words to attend to specific lesion nodes rather than only to global image features. This provides direct alignment between linguistic content and pathological evidence, supporting token-level interpretability and relational reasoning. LUX outperforms strong baseline and state-of-the-art medical captioning models across BLEU, METEOR, ROUGE-L, and CIDEr, with particularly strong gains in CIDEr. It also reduces hallucinated clinical findings and improves lesion-level grounding through stronger correspondence between generated tokens and localized pathological regions.
- Abstract（参考訳）: 潰瘍性大腸炎における内視鏡像の解釈は複雑で主観的であり,ヒトの評価や微妙な粘膜炎症の変異がみられる。
ディープラーニングには高度な自動解析があるが、ほとんどの視覚言語モデルは、臨床の信頼性と解釈可能性を制限する、病理学的証拠の局所的および関係的な性質を無視するグローバルな視覚埋め込みに依存している。
本稿では,LUX (Lesion-aware Unified eXplainable Casting) について紹介する。
LUXはGrad-CAMとCBAMの活性化マップから病変中心のシーングラフを構築し、病理領域をノードとして表現し、それらの空間的および臨床的関係を符号化する。
これらのグラフ埋め込みはT5デコーダのクロスアテンション層に統合され、生成された単語がグローバルな画像の特徴だけでなく特定の病変ノードに到達できるようにする。
これは、言語内容と病理的証拠の直接的な一致を提供し、トークンレベルの解釈可能性と関係推論をサポートする。
LUXはBLEU、METEOR、ROUGE-L、CIDErで強力なベースラインと最先端の医療キャプションモデルを上回っており、特にCIDErでは大きな伸びを示している。
また、幻覚性の臨床所見を減らし、生成されたトークンと局所的な病理領域とのより強い対応を通じて病変レベルの接地を改善する。
関連論文リスト
- EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive Alignment [15.371433625713232]
EndoVLMは348K以上の内視鏡検査で事前訓練された新しい視覚言語FMである。
Anatomy-Guided Sparse Poolingメカニズムは、テキスト記述をクエリとして利用してスパース注意を喚起する。
プログレッシブ・セマンティック・アウェア・アライメント・ストラテジー(Progressive Semantic-Aware Alignment Strategy)は、構造化されたソフトターゲットを介して臨床分類(解剖学と病理学)をモデル化する。
Semantic-Concentrated Masked Autoencoderは、これらのセマンティックリッチなフレームにのみ適用され、低レベルの視覚的精度と堅牢な高レベルのセマンティック表現を統合する。
論文 参考訳（メタデータ） (2026-08-05T05:56:41Z) - Region-Grounded Vision-Language Learning for Detection-Guided Mammographic Lesion Classification [2.9370716053964916]
そこで本研究では,検出ガイド下マンモグラフィ病変分類のための領域学習型視覚言語学習法を提案する。
低語彙設定における意味的崩壊と背景バイアスを軽減するため、正のアライメント、きめ細かいセマンティック・ハード・ネガ、背景抑圧を組み込んだ多成分目標を導入する。
CBIS-DDSMとVinDr-Mammoの2つの独立したデータセットを用いた実験は、ドメイン内、クロスデータセット、転送学習設定における関連手法と比較して、本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2026-07-17T04:27:44Z) - CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis [0.4551615447454768]
ワイヤレスカプセル内視鏡(WCE)は小腸の非侵襲的視覚的評価を可能にする。
WCEの既存の学習ベースのアプローチは主に視覚のみであり、しばしば狭い病理セットに限られる。
本稿では,WCEのためのドメイン固有視覚言語表現学習フレームワークであるCapCLIPを紹介する。
論文 参考訳（メタデータ） (2026-05-08T21:14:56Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-27T02:41:27Z) - MIRNet: Integrating Constrained Graph-Based Reasoning with Pre-training for Diagnostic Medical Imaging [67.74482877175797]
MIRNetは、自己教師付き事前学習と制約付きグラフベースの推論を統合する新しいフレームワークである。
TongueAtlas-4Kは,22の診断ラベルを付した4,000枚の画像からなるベンチマークである。
論文 参考訳（メタデータ） (2025-11-13T06:30:41Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Seeing the Trees for the Forest: Rethinking Weakly-Supervised Medical Visual Grounding [45.248265283405004]
現在のモデルは、非効率な注意機構ときめ細かいトークン表現の欠如により、テキスト記述と病気領域を関連付けるのに苦労している。
本稿では、VLMの説明可能性マップを用いて、適切な画像特徴を識別する病原体認識プロンプト(DAP)を提案する。
DAPは3つの主要な胸部X線データセットの最先端手法と比較して、視覚的接地精度を20.74%向上させる。
論文 参考訳（メタデータ） (2025-05-21T05:16:45Z) - From Gaze to Insight: Bridging Human Visual Attention and Vision Language Model Explanation for Weakly-Supervised Medical Image Segmentation [48.45209969191245]
視覚言語モデル(VLM)は、テキスト記述を通して意味的コンテキストを提供するが、説明精度は欠如している。
本稿では,その補完的強みを活かし,視線と言語指導を統合した教師教育フレームワークを提案する。
本手法は,8.78%,80.53%,84.22%のDiceスコアをそれぞれ達成し,アノテーション負担を増大させることなく視線ベースラインよりも3.5%向上した。
論文 参考訳（メタデータ） (2025-04-15T16:32:15Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳（メタデータ） (2024-03-21T17:58:56Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳（メタデータ） (2023-03-18T03:53:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。