論文の概要: QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
- arxiv url: http://arxiv.org/abs/2609.23139v1
- Date: Sat, 19 Sep 2026 17:09:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.687634
- Title: QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
- Title（参考訳）: QwenVLConnector: 高速で統一された医療用VLMチャットボット
- Abstract要約: QwenVLConnectorは、分類、多ラベル分類、テキスト化検出、カウント、回帰、自由形式のレポート生成を統一する医療ビジョン言語モデルである。
私たちの重要なコンポーネントは、低レベルかつ高レベルの視覚的特徴を集約する軽量の高密度多層コネクタです。
FLARE-2Dでは、QwenVLConnectorは検出F1を0.55から0.85に改善し、シングルラベル分類を0.37から0.51に引き上げ、レポートジェネレーションGREENをQwen2.5-VLベースライン上で最大18.3ポイント向上させる。
- 参考スコア（独自算出の注目度）: 6.678257472394836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most medical vision-language models (VLMs) excel at open-ended report generation and VQA but provide limited support for structured, fine-grained clinical perception within a unified interface. We present QwenVLConnector, a Qwen2.5-VL-based medical chatbot that unifies classification, multi-label classification, textualized detection, counting, regression, and free-form report generation under a single next-token objective. Our key component is a lightweight dense multi-layer Connector that aggregates low- and high-level visual features, aligns them through the pretrained vision Merger, and fuses them with the final visual representation without increasing sequence length. This design enriches visual tokens with complementary spatial and semantic cues while preserving efficiency. On FLARE-2D, QwenVLConnector improves detection F1 from 0.55 to 0.85, raises single-label classification from 0.37 to 0.51, and boosts report-generation GREEN by up to 18.3 points over the Qwen2.5-VL baseline. We further explore multimodal in-context learning for report generation, showing additional improvements without updating model parameters. Overall, QwenVLConnector offers a unified and efficient framework for combining structured medical perception with open-ended clinical text generation. Our code can be found at https://github.com/plnguyen2908/QwenConnector.
- Abstract（参考訳）: ほとんどの医療ビジョン言語モデル(VLM)は、オープンエンドレポート生成とVQAで優れているが、統一インターフェース内の構造化されたきめ細かな臨床知覚に対する限定的なサポートを提供する。
Qwen2.5-VL をベースとした医療チャットボット QwenVLConnector について述べる。
我々のキーコンポーネントは、低レベル・高レベルな視覚特徴を集約し、事前訓練された視覚マーガーを通してそれらを整列し、シーケンス長を増大させることなく最終的な視覚表現と融合する軽量な高密度多層コネクタである。
この設計は、効率を保ちながら、相補的な空間的および意味的な手がかりで視覚トークンを豊かにする。
FLARE-2Dでは、QwenVLConnectorは検出F1を0.55から0.85に改善し、シングルラベル分類を0.37から0.51に引き上げ、レポートジェネレーションGREENをQwen2.5-VLベースライン上で最大18.3ポイント向上させる。
さらに、レポート生成のためのマルチモーダル・イン・コンテキスト学習について検討し、モデルパラメータを更新せずにさらなる改善を示す。
全体として、QwenVLConnectorは構造化された医学的知覚とオープンな臨床テキスト生成を組み合わせた統一的で効率的なフレームワークを提供する。
私たちのコードはhttps://github.com/plnguyen2908/QwenConnector.comで参照できます。
関連論文リスト
- MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA [55.12170695219291]
MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
論文 参考訳（メタデータ） (2026-08-27T09:16:14Z) - CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement [3.586844533420584]
本稿では,胸部X線ビジョンランゲージモデル(VLM)であるCARE-Xを紹介する。
CARE-Xは、言語モデリングの目的と協調して訓練された、焦点空間の分類と複合空間の接地ヘッドにより、その生成バックボーンを増強する。
その結果は、4つのレポートジェネレーションベンチマークの大多数における最先端のパフォーマンス、ReXVQAにおける94.0%のVQA精度、および専用の検出ヘッドとほぼ同値な生成空間デコーディングが得られた。
論文 参考訳（メタデータ） (2026-08-04T16:23:39Z) - ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。
我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。
ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
論文 参考訳（メタデータ） (2026-07-27T17:59:49Z) - Gated Multi-Graph Fusion via Graph Attention Networks for Alzheimer's Disease Detection [52.36198268369384]
自然発声はアルツハイマー病(AD)にとって重要な非侵襲的バイオマーカーである
本稿では,音声を自動音声認識(ASR)で書き起こし,セマンティック,依存性,共起グラフを構築するマルチビューGated Graph Attention Networkを提案する。
論文 参考訳（メタデータ） (2026-06-30T06:15:59Z) - U-VLM: Hierarchical Vision Language Modeling for Report Generation [20.09433657986766]
トレーニングとアーキテクチャの両方において階層型視覚言語モデリングを可能にするU-VLMを提案する。
U-VLMはCT-RATEとAbdomenAtlas 3.0で、スクラッチからトレーニングされた0.1Bデコーダのみを使用して、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-28T05:43:11Z) - HEDGE: Hallucination Estimation via Dense Geometric Entropy for VQA with Vision-Language Models [4.099133096025821]
視覚言語モデル(VLM)は、オープンエンドの視覚的質問応答を可能にするが、幻覚に苦しむ傾向にある。
我々は、制御された視覚摂動、セマンティッククラスタリング、堅牢な不確実性メトリクスを組み合わせた幻覚検出のための統合フレームワークであるHEDGEを提案する。
論文 参考訳（メタデータ） (2025-11-16T17:16:31Z) - Decoupling Clinical and Class-Agnostic Features for Reliable Few-Shot Adaptation under Shift [12.373281238541296]
医療ビジョン言語モデル(VLM)は、臨床診断支援を約束するが、分布シフトによる信頼性は、安全なデプロイメントにとって大きな関心事である。
そこで我々はDRiFtを提案する。DRiFtは機能分離フレームワークで、臨床的に関連する信号をタスク非依存のノイズから明確に分離する。
提案手法は,従来のプロンプトベースの手法に比べて,Top-1精度+11.4%,Macro-F1+3.3%向上する。
論文 参考訳（メタデータ） (2025-09-11T12:26:57Z) - Automatic Fine-grained Segmentation-assisted Report Generation [3.6341072547314037]
本稿では,レポート生成のためのLLaVAアーキテクチャの拡張であるASaRGを紹介する。
提案手法は,LLaVAベースラインに比べてCE F1スコアが0.89%向上した。
私たちのコードは後日公開される予定です。
論文 参考訳（メタデータ） (2025-07-22T14:16:20Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。
CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。
大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
論文 参考訳（メタデータ） (2022-06-04T13:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。