論文の概要: Noise-Aware Visual Representation Learning for Medical Visual Question Answering

• arxiv url: http://arxiv.org/abs/2606.05535v1
• Date: Thu, 04 Jun 2026 00:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.449875
• Title: Noise-Aware Visual Representation Learning for Medical Visual Question Answering
• Title（参考訳）: 医用視覚質問応答のための雑音対応視覚表現学習
• Authors: I Putu Adi Pratama, Bahadorreza Ofoghi, Atul Sajjanhar, Shang Gao,
• Abstract要約: 医用視覚質問応答(Med-VQA)は、AIモデルによる医療画像の解釈と臨床関連クエリへの応答を可能にすることにより、臨床上の意思決定支援に強い可能性を秘めている。 近年のアプローチでは、計算コストを削減するために、市販のビジョンエンコーダを軽量なマッピングネットワークを通じて大きな言語モデル(LLM)に接続する。 視覚的な埋め込みがLLMの入力空間にマップされる前にデノナイズされたオートエンコーダを組み込んだノイズ対応Med-VQAフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.764866982759378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical visual question answering (Med-VQA) has strong potential for clinical decision support by enabling AI models to interpret medical images and answer clinically relevant queries. Recent approaches typically connect off-the-shelf vision encoders with large language models (LLMs) through lightweight mapping networks to reduce computational cost. However, these methods often overlook the importance of handling noise and small irrelevant changes in visual representations. To address these challenges, we propose a noise-aware Med-VQA framework that incorporates a denoising autoencoder before visual embeddings are mapped into the input space of an LLM. The denoising autoencoder is pretrained to reconstruct clean visual embeddings from corrupted inputs, encouraging the model to learn robust visual representations that are less sensitive to noise. The resulting embeddings are then projected into the language model embedding space using a multi-layer perceptron (MLP), forming visual prefix tokens that provide image information to the LLM. To enable efficient adaptation without full retraining, we employ parameter-efficient fine-tuning using low-rank adaptation (LoRA). The proposed method is evaluated on the SLAKE and PathVQA benchmarks. Experimental results show improved robustness to noisy input embeddings while maintaining competitive clean performance across multiple evaluation criteria. These findings suggest that learning more robust visual representations can enhance Med-VQA performance and robustness.
• Abstract（参考訳）: 医用視覚質問応答(Med-VQA)は、AIモデルによる医療画像の解釈と臨床関連クエリへの応答を可能にすることにより、臨床上の意思決定支援に強い可能性を秘めている。 近年のアプローチでは、計算コストを削減するために、市販のビジョンエンコーダを軽量なマッピングネットワークを通じて大きな言語モデル(LLM)に接続する。 しかし、これらの手法は、視覚表現におけるノイズや小さな無関係な変化を扱うことの重要性を無視することが多い。 これらの課題に対処するために,視覚的な埋め込みがLLMの入力空間にマップされる前に,デノナイズされたオートエンコーダを組み込んだ雑音対応Med-VQAフレームワークを提案する。 デノナイジングオートエンコーダは、劣化した入力からクリーンな視覚埋め込みを再構築するために事前訓練され、ノイズに敏感でない堅牢な視覚表現を学習するようモデルに促される。 得られた埋め込みは、多層パーセプトロン(MLP)を使用して言語モデル埋め込み空間に投影され、LLMに画像情報を提供する視覚的な接頭辞トークンを形成する。 低ランク適応(LoRA)を用いてパラメータ効率の良い微調整を行う。 提案手法はSLAKEとPathVQAのベンチマークを用いて評価する。 実験結果から,複数評価基準の競合的クリーン性能を維持しつつ,ノイズの多い入力埋め込みに対するロバスト性の向上が示された。 これらの結果は、より堅牢な視覚表現の学習が、Med-VQA性能と堅牢性を高めることを示唆している。

関連論文リスト

• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Investigate the Low-level Visual Perception in Vision-Language based Image Quality Assessment [7.969076042774561]
  低レベルの歪み知覚タスクを導入し、モデルが特定の歪みタイプを分類する必要がある。 解析の結果,MLLMは構造的にそのような歪みを表現できるが,トレーニングテンプレートに適合しがちであることがわかった。 視覚エンコーダのアライメントを改善することで、歪み認識精度が劇的に向上し、14.92%から84.43%に向上することを示す。
  論文  参考訳（メタデータ） (2025-12-10T12:06:47Z)
• Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
  LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。 本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。 提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-05-26T08:36:10Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。