論文の概要: Think Twice to See More: Iterative Visual Reasoning in Medical VLMs

• arxiv url: http://arxiv.org/abs/2510.10052v1
• Date: Sat, 11 Oct 2025 06:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.752882
• Title: Think Twice to See More: Iterative Visual Reasoning in Medical VLMs
• Title（参考訳）: 医療用VLMにおける反復的視覚推論
• Authors: Kaitao Chen, Shaohao Rui, Yankai Jiang, Jiamin Wu, Qihao Zheng, Chunfeng Song, Xiaosong Wang, Mu Zhou, Mianxin Liu,
• Abstract要約: 私たちは、人間の専門家の反復的推論プロセスをエミュレートするフレームワークViTARを紹介します。 ViTARは、医療画像をインタラクティブなオブジェクトとして扱い、モデルが多段階の視覚的推論を行えるようにする。
• 参考スコア（独自算出の注目度）: 21.083636394814217
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Medical vision-language models (VLMs) excel at image-text understanding but typically rely on a single-pass reasoning that neglects localized visual cues. In clinical practice, however, human experts iteratively scan, focus, and refine the regions of interest before reaching a final diagnosis. To narrow this machine-human perception gap, we introduce ViTAR, a novel VLM framework that emulates the iterative reasoning process of human experts through a cognitive chain of "think-act-rethink-answer". ViTAR treats medical images as interactive objects, enabling models to engage multi-step visual reasoning. To support this approach, we curate a high-quality instruction dataset comprising 1K interactive examples that encode expert-like diagnostic behaviors. In addition, a 16K visual question answering training data has been curated towards fine-grained visual diagnosis. We introduce a two-stage training strategy that begins with supervised fine-tuning to guide cognitive trajectories, followed by the reinforcement learning to optimize decision-making. Extensive evaluations demonstrate that ViTAR outperforms strong state-of-the-art models. Visual attention analysis reveals that from the "think" to "rethink" rounds, ViTAR increasingly anchors visual grounding to clinically critical regions and maintains high attention allocation to visual tokens during reasoning, providing mechanistic insight into its improved performance. These findings demonstrate that embedding expert-style iterative thinking chains into VLMs enhances both performance and trustworthiness of medical AI.
• Abstract（参考訳）: 医用視覚言語モデル(VLM)は画像テキスト理解に優れるが、通常は局所的な視覚的手がかりを無視したシングルパス推論に依存している。 しかし、臨床実践において、ヒトの専門家は最終診断に到達する前に、興味のある領域を反復的にスキャン、焦点付け、精査する。 この機械と人間の知覚ギャップを狭めるために、我々は、人間の専門家の反復的推論プロセスをエミュレートする新しいVLMフレームワークであるViTARを紹介した。 ViTARは、医療画像をインタラクティブなオブジェクトとして扱い、モデルが多段階の視覚的推論を行えるようにする。 このアプローチを支援するために、専門家のような診断行動をエンコードする1Kの対話型例からなる高品質な命令データセットをキュレートする。 さらに、16Kの視覚的質問応答訓練データも、きめ細かい視覚的診断のためにキュレートされている。 本稿では,認知的軌跡を誘導する微調整を指導し,意思決定を最適化する強化学習を行う2段階の訓練戦略を提案する。 大規模な評価は、ViTARが強力な最先端モデルより優れていることを示している。 視覚的注意分析は、"思考"から"再考"ラウンドに至るまで、ViTARは、臨床上重要な領域に視覚的基盤を固定し、推論中に視覚的トークンに高い注意を割り当て、その改善されたパフォーマンスに関する機械的な洞察を提供する。 これらの結果は、専門家スタイルの反復的思考チェーンをVLMに組み込むことで、医療AIの性能と信頼性が向上することを示している。

関連論文リスト

• Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning [79.34909830834464]
  VLM(Vision-Language Models)は様々な視覚的タスクで顕著な成功を収めているが、複雑な視覚環境では性能が低下している。 視覚的複雑性は、注意エントロピーと強く相関し、推論性能に悪影響を及ぼすことを示す。 本稿では,CARVE(Contrastive Attention Refinement for Visual Enhancement)を提案する。
  論文  参考訳（メタデータ） (2025-09-08T09:20:04Z)
• GEMeX-ThinkVG: Towards Thinking with Visual Grounding in Medical VQA via Reinforcement Learning [50.94508930739623]
  医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。 現状の手法は, 信頼性の限界や解釈可能性の低下に悩まされており, 臨床医や患者がモデル生成の回答を理解し, 信頼する能力が損なわれている。 この研究はまず、回答生成を中間的推論ステップに分解するThinking with Visual Groundingデータセットを提案する。 本稿では,強化学習のための新たな報奨機構を導入し,モデル推論プロセスと最終解の整合性を改善した。
  論文  参考訳（メタデータ） (2025-06-22T08:09:58Z)
• A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
  本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。 本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。 このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• Guiding Medical Vision-Language Models with Explicit Visual Prompts: Framework Design and Comprehensive Exploration of Prompt Variations [15.052986179046076]
  医用エンティティ抽出,視覚的プロンプト生成,およびデータセット適応を統合した,視覚的プロンプトによる微調整のための先駆的フレームワークであるMedVPを紹介する。 我々は、複数の医療用VQAデータセットにおいて、最新の最先端の大規模モデルを上回る結果を得た。
  論文  参考訳（メタデータ） (2025-01-04T21:23:36Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。