論文の概要: Focus on What Matters: Enhancing Medical Vision-Language Models with Automatic Attention Alignment Tuning

• arxiv url: http://arxiv.org/abs/2505.18503v1
• Date: Sat, 24 May 2025 04:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.464278
• Title: Focus on What Matters: Enhancing Medical Vision-Language Models with Automatic Attention Alignment Tuning
• Title（参考訳）: 問題に焦点をあてて:自動アテンション調整による医用ビジョンランゲージモデルの強化
• Abstract要約: 自動アテンション調整のためのファインチューニングフレームワークであるA$3$Tuneを提案する。 A$3$Tune は SAM のゼロショット弱ラベルを活用し、BioMedCLIP を用いてプロンプト認識ラベルに洗練し、視覚的に重要なアテンションヘッドを選択的に修正し、干渉を最小限に抑えながらアライメントを改善する。 医療用VQAとレポート生成ベンチマークの実験から、A$3$Tuneは最先端のベースラインを上回り、Med-LVLMの注意分布と性能の向上を実現している。
• 参考スコア（独自算出の注目度）: 35.97855906321209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical Large Vision-Language Models (Med-LVLMs) often exhibit suboptimal attention distribution on visual inputs, leading to hallucinated or inaccurate outputs. Existing mitigation methods primarily rely on inference-time interventions, which are limited in attention adaptation or require additional supervision. To address this, we propose A$^3$Tune, a novel fine-tuning framework for Automatic Attention Alignment Tuning. A$^3$Tune leverages zero-shot weak labels from SAM, refines them into prompt-aware labels using BioMedCLIP, and then selectively modifies visually-critical attention heads to improve alignment while minimizing interference. Additionally, we introduce a A$^3$MoE module, enabling adaptive parameter selection for attention tuning across diverse prompts and images. Extensive experiments on medical VQA and report generation benchmarks show that A$^3$Tune outperforms state-of-the-art baselines, achieving enhanced attention distributions and performance in Med-LVLMs.
• Abstract（参考訳）: Med-LVLMs (Med-LVLMs) はしばしば視覚入力に最適以下の注意分布を示し、幻覚的または不正確な出力をもたらす。 既存の緩和法は主に推論時間の介入に依存しており、注意の適応に制限されるか、追加の監督を必要とする。 そこで本稿では,自動アテンション調整のためのファインチューニングフレームワークであるA$^3$Tuneを提案する。 A$3$TuneはSAMのゼロショット弱ラベルを活用し、BioMedCLIPを使用してプロンプト認識ラベルに洗練し、視覚的に重要なアテンションヘッドを選択的に修正し、干渉を最小限に抑えながらアライメントを改善する。 さらに,A$^3$MoEモジュールを導入し,様々なプロンプトや画像にまたがるアテンションチューニングのための適応パラメータ選択を可能にする。 医療用VQAとレポート生成ベンチマークの大規模な実験により、A$^3$Tuneは最先端のベースラインを上回り、Med-LVLMの注意分布と性能の向上を実現している。

関連論文リスト

• MedARC: Training-Free Adaptive Redundancy Compression of Visual Tokens for 3D Medical Vision-Language Models [3.8740159612186265]
  本稿では、3次元医用視覚言語モデルにおける視覚トークンの適応冗長圧縮のためのフレームワークであるMedARCを提案する。 MedARCは3つの補完的手がかりを統合することでトークンの重要性を推定する。 CT-RATEとMR-RATEの実験により、MedARCは診断性能を保留または改善しながら、視覚的トーケンのオーバーヘッドと推論時間を短縮することが示された。
  論文  参考訳（メタデータ） (2026-07-29T07:27:09Z)
• ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs [32.51643420504522]
  マルチモーダル大言語モデル(MLLM)は幻覚によって著しく妨げられている。 幻覚の内的署名として,テキスト・ツー・イメージ・クロス・アテンションの段階的劣化を同定する。 本稿では,テキスト・ツー・イメージ・クロスアテンション・ダイナミクスに直接介入するアテンションベースのフレームワークであるADAPTを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:46:10Z)
• Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation of SAM3 in Medical Image Segmentation [14.712933368175008]
  テスト時間適応(TTA)は、アノテーションなしでオンザフライでモデルを更新することで、テストパフォーマンスを改善するために不可欠である。 既存の視覚言語TTA法は主に画像レベルの不確実性最小化によって駆動される。 本稿では,SAM3の医用画像に対するConcept Alignment ContrastとLongShort Prompt Memory for Test-Time Adaptation (CM-TTA)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T07:43:19Z)
• Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs [53.697403481143404]
  LVLM(Large Vision-Language Models)は、医用画像処理タスクにおいて強力なパフォーマンスを実現している。 しかし、実際の不整合、視力の低下、臨床的に有意義なフィードバックによる不一致が続く傾向にある。
  論文  参考訳（メタデータ） (2026-06-10T18:35:36Z)
• FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models [46.84889852529529]
  CLIPベースのプロンプトチューニングにより、事前訓練されたビジョンランゲージモデル(VLM)が下流タスクに効率的に適応できる。 本稿では,視覚的エンコーダの前景の注目度の変化に対して,プロンプトチューニング予測の失敗モードを特徴付ける。 適応型プラグアンドプレイアテンション誘導モジュールであるフォアグラウンドビューガイドプロンプトチューニング(FVG-PT)を提案する。
  論文  参考訳（メタデータ） (2026-03-09T17:59:18Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
  我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。 まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。 次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-10-24T02:11:05Z)
• ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM [16.694799255671914]
  マルチモーダル大言語モデル(MLLM)は、しばしば刺激的な視覚的手がかりに過剰なコミットによって幻覚する。 本稿では,アテンション・ステアブル・コントラスト・デコーディング(ASCD)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T17:58:11Z)
• HSCR: Hierarchical Self-Contrastive Rewarding for Aligning Medical Vision Language Models [23.158036246184174]
  我々は,Med-VLMアライメントにおける2つの重要な課題に対処する新しいアプローチである階層型自己コントラスト・リワード(HSCR)を提案する。 HSCRは高品質な嗜好データを生成し、改善されたアライメントのためにニュアンス付きおよびコンテキスト対応の嗜好をキャプチャする。
  論文  参考訳（メタデータ） (2025-06-01T03:11:00Z)
• Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration [22.39558434131574]
  LVLM(Large Vision-Language Models)は、視覚的コンテンツと実際に一致しない応答を生成する。 我々は、単一の意味のない入力画像からバイアスを推定する、トレーニング不要なソリューションUniform Attention (UAC)を導入する。 また、画像中のオブジェクトがどこにあっても一貫した出力を強制する、微調整ソリューションであるDynamic Attention (DAC)を導入します。
  論文  参考訳（メタデータ） (2025-02-04T03:27:38Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• MMedPO: Aligning Medical Vision-Language Models with Clinical-Aware Multimodal Preference Optimization [25.937453082034448]
  我々は,新しいマルチモーダル医療優先最適化手法MMedPOを提案する。 MMedPOは、Med-LVLMアライメントを高めるために、嗜好サンプルの臨床的関連性を考慮する。 実験の結果,MMedPOはMed-LVLMの精度を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-12-09T01:50:39Z)
• ScribbleVS: Scribble-Supervised Medical Image Segmentation via Dynamic Competitive Pseudo Label Selection [15.909809253412526]
  私たちは、scribbleアノテーションから学ぶように設計されたフレームワークであるScribbleVSを紹介します。 本稿では,騒音の監視範囲を広げ,騒音の影響を低減するために,地域擬似ラベル拡散モジュールを提案する。 ACDC、MSCMRseg、WORD、BraTS 2020データセットで実施された実験は、有望な結果を示している。
  論文  参考訳（メタデータ） (2024-11-15T14:51:30Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation [57.37875162629063]
  本稿では,限定ラベルの性能向上のために,選択的ラベリングと即時チューニングを組み合わせたフレームワークを提案する。 肝腫瘍の分節化について検討し, 従来の微調整を6%程度で達成した。
  論文  参考訳（メタデータ） (2023-08-09T12:22:49Z)
• CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models [101.5066760592534]
  我々は、視覚言語モデル(VL-PTM)をチューニングするための新しいパラダイムであるCPT(Cross-modal Prompt Tuning)を提案する。 CPTは、画像とテキストにおける色に基づく共参照マーカーを用いて、視覚的な接点をブランクの補間問題に修正し、ギャップを最大に軽減する。 総合的な実験結果から、VL-PTMの調整は、細調整されたVL-PTMよりも大きなマージンで優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-24T08:07:29Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。