論文の概要: Guiding Medical Vision-Language Models with Explicit Visual Prompts: Framework Design and Comprehensive Exploration of Prompt Variations

• arxiv url: http://arxiv.org/abs/2501.02385v1
• Date: Sat, 04 Jan 2025 21:23:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:17.659339
• Title: Guiding Medical Vision-Language Models with Explicit Visual Prompts: Framework Design and Comprehensive Exploration of Prompt Variations
• Title（参考訳）: 鮮明な視覚プロンプトを用いた医用視覚ランゲージモデルの指導:フレームワーク設計とプロンプト変動の包括的探索
• Authors: Kangyu Zhu, Ziyuan Qin, Huahui Yi, Zekun Jiang, Qicheng Lao, Shaoting Zhang, Kang Li,
• Abstract要約: 医用視覚言語モデルのための視覚的プロンプト生成および微調整フレームワークであるMedVPを紹介する。 我々は、複数の医療用VQAデータセットにおいて、最新の最先端の大規模モデルを上回る結果を得た。
• 参考スコア（独自算出の注目度）: 15.052986179046076
• License:
• Abstract: With the recent advancements in vision-language models (VLMs) driven by large language models (LLMs), many researchers have focused on models that comprised of an image encoder, an image-to-language projection layer, and a text decoder architectures, leading to the emergence of works like LLava-Med. However, these works primarily operate at the whole-image level, aligning general information from 2D medical images without attending to finer details. As a result, these models often provide irrelevant or non-clinically valuable information while missing critical details. Medical vision-language tasks differ significantly from general images, particularly in their focus on fine-grained details, while excluding irrelevant content. General domain VLMs tend to prioritize global information due to their design, which compresses the entire image into a multi-token representation that is passed into the LLM decoder. Therefore, current VLMs all lack the capability to restrict their attention to particular areas. To address this critical issue in the medical domain, we introduce MedVP, an visual prompt generation and fine-tuning framework, which involves extract medical entities, generate visual prompts, and adapt datasets for visual prompt guided fine-tuning. To the best of our knowledge, this is the first work to explicitly introduce visual prompt into medical VLMs, and we successfully outperform recent state-of-the-art large models across multiple medical VQA datasets. Extensive experiments are conducted to analyze the impact of different visual prompt forms and how they contribute to performance improvement. The results demonstrate both the effectiveness and clinical significance of our approach
• Abstract（参考訳）: 大規模言語モデル(LLM)によって駆動される視覚言語モデル(VLM)の最近の進歩により、多くの研究者が画像エンコーダ、画像から言語への投影層、テキストデコーダアーキテクチャからなるモデルに注目し、LLava-Medのような作品の出現につながった。 しかし、これらの作品は、主に画像全体のレベルで動作し、2次元の医療画像からの一般的な情報を、より詳細な情報に出席することなく整列する。 その結果、これらのモデルは、重要な詳細を欠いている間に、無関係または非臨床的に価値のある情報を提供することが多い。 医用視覚言語タスクは一般的な画像とは大きく異なり、特に細かな細部に焦点をあてるが、無関係な内容は除く。 一般的なドメイン VLM は設計上グローバルな情報を優先する傾向があり、LLMデコーダに渡されるマルチトークン表現に全体像を圧縮する。 したがって、現在のVLMには、特定の領域に注意を向ける能力がない。 医用領域におけるこの重要な問題に対処するために,医用物体の抽出,視覚的プロンプトの生成,および視覚的プロンプトガイドによる微調整のためのデータセットの適応を含む視覚的プロンプト生成および微調整フレームワークであるMedVPを紹介する。 我々の知る限りでは、これは医療用VLMに視覚的プロンプトを明示的に導入する最初の試みであり、複数の医療用VQAデータセットで最新の最先端の大規模モデルを上回ることに成功しました。 様々な視覚的プロンプトフォームの影響と、それらがパフォーマンス改善にどのように貢献するかを分析するために、広範囲な実験が行われた。 その結果,我々のアプローチの有効性と臨床的意義が示された。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• R-LLaVA: Improving Med-VQA Understanding through Visual Region of Interest [9.090795755887067]
  R-LLaVAは、単純な医用アノテーションをCLIPを介して画像空間に直接組み込むことで、バイオメディカルVQA理解を高めるように設計されている。 これらの注釈付き視覚領域は、トレーニング中にLLaVAモデルに入力され、バイオメディカルクエリに対するモデルの理解を深めることを目的としている。
  論文  参考訳（メタデータ） (2024-10-27T03:56:56Z)
• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Intensive Vision-guided Network for Radiology Report Generation [22.030289124516326]
  医用画像エンコーダにおける多視点視覚知覚をシミュレートし統合するためのGIAモジュールを提案する。 また,複数モーダル信号を用いて正確な一致したレポートを生成する方法,すなわち,予測済みの単語を領域認識型視覚コンテンツと統合して次の単語予測を行う方法について検討する。
  論文  参考訳（メタデータ） (2024-02-06T06:46:46Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Hallucination Benchmark in Medical Visual Question Answering [2.4302611783073145]
  我々は,質問応答セットと組み合わせた医療画像の幻覚ベンチマークを作成し,最先端モデルの総合的な評価を行った。 この研究は、現在のモデルの限界を詳細に分析し、様々なプロンプト戦略の有効性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-11T10:52:17Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Medical Image Understanding with Pretrained Vision Language Models: A Comprehensive Study [8.547751745702156]
  我々は、事前学習された視覚言語モデル(VLM)から知識を引き出すための、よく設計された医療プロンプトが鍵であることを示している。 医用プロンプトの自動生成のための3つのアプローチを開発し,専門家レベルの医療知識と画像特異的情報を微粒な接地プロンプトに注入する。
  論文  参考訳（メタデータ） (2022-09-30T15:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。