論文の概要: GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2506.17939v2
• Date: Tue, 28 Oct 2025 06:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 17:50:20.09332
• Title: GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning
• Title（参考訳）: GEMeX-RMCoT:地域対応マルチモーダル・チェーン・オブ・サート推論のための拡張Med-VQAデータセット
• Authors: Bo Liu, Xiangyu Zhao, Along He, Yidi Chen, Huazhu Fu, Xiao-Ming Wu,
• Abstract要約: 医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。 現在の方法はまだ、答えの信頼性の制限と解釈性の低下に悩まされている。 この研究はまず、回答を生成するプロセスが中間的推論ステップのシーケンスに先行する領域対応マルチモーダル・チェーン・オブ・ソートデータセットを提案する。
• 参考スコア（独自算出の注目度）: 60.03671205298294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical visual question answering aims to support clinical decision-making by enabling models to answer natural language questions based on medical images. While recent advances in multi-modal learning have significantly improved performance, current methods still suffer from limited answer reliability and poor interpretability, impairing the ability of clinicians and patients to understand and trust model outputs. To address these limitations, this work first proposes a Region-Aware Multimodal Chain-of-Thought (RMCoT) dataset, in which the process of producing an answer is preceded by a sequence of intermediate reasoning steps that explicitly ground relevant visual regions of the medical image, thereby providing fine-grained explainability. Furthermore, we introduce a novel verifiable reward mechanism for reinforcement learning to guide post-training, improving the alignment between the model's reasoning process and its final answer. Remarkably, our method achieves comparable performance using only one-eighth of the training data, demonstrating the efficiency and effectiveness of the proposal. The dataset is available at https://www.med-vqa.com/GEMeX/.
• Abstract（参考訳）: 医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。 マルチモーダル学習の最近の進歩は、性能を著しく向上させたが、現在の手法は、答えの信頼性の制限と解釈性の低下に悩まされ、臨床医や患者がモデルアウトプットを理解し信頼する能力が損なわれている。 これらの制限に対処するために、この研究はまず、回答を生成する過程を、医療画像の関連視覚領域を明確に根拠とする中間的推論ステップのシーケンスによって先行する、領域対応マルチモーダル・チェーン・オブ・ワット(RMCoT)データセットを提案する。 さらに,強化学習のための新たな報奨機構を導入し,学習後の学習をガイドし,モデルの推論過程と最終的な回答との整合性を改善する。 また,本手法は,トレーニングデータの8分の1しか使用せず,提案手法の有効性と有効性を示す。 データセットはhttps://www.med-vqa.com/GEMeX/.comで公開されている。

関連論文リスト

• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• CoMT: Chain-of-Medical-Thought Reduces Hallucination in Medical Report Generation [20.59298361626719]
  医療報告生成における幻覚を緩和するためのチェーン・オブ・メディカル・シント・アプローチ(CoMT)を提案する。 CoMTは、診断手順を分解することで、人間の医師の認知過程を模倣しようとしている。
  論文  参考訳（メタデータ） (2024-06-17T12:03:32Z)
• MedThink: Explaining Medical Visual Question Answering via Multimodal Decision-Making Rationale [19.94415334436024]
  我々は、データ準備を効率化し、新しいベンチマークMedVQAデータセットを構築するための半自動アノテーションプロセスを開発した。 これらのデータセットは、マルチモーダルな大言語モデルと人間のアノテーションによって生成される中間的な医学的意思決定の合理性を提供する。 我々はまた、医学的意思決定の合理性を取り入れた軽量な事前学習生成モデルを微調整する新しいフレームワーク、MedThinkを設計する。
  論文  参考訳（メタデータ） (2024-04-18T17:53:19Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Towards Answering Health-related Questions from Medical Videos: Datasets and Approaches [21.16331827504689]
  多くの個人が、特定のタスクを達成するための一連のステップバイステップの手順を提供するため、指導ビデオを好むようになった。 医療領域からの指導ビデオは、第一支援、救急、および医療教育に関する質問に対する最良の視覚的回答を提供することができる。 医療分野における大規模なデータセットの不足は、公衆の健康に関する質問に役立てるアプリケーションの開発を妨げる重要な課題である。
  論文  参考訳（メタデータ） (2023-09-21T16:21:28Z)
• Masked Vision and Language Pre-training with Unimodal and Multimodal Contrastive Losses for Medical Visual Question Answering [7.669872220702526]
  本稿では,入力画像とテキストの非モーダル・マルチモーダル特徴表現を学習する,新しい自己教師型アプローチを提案する。 提案手法は,3つの医用VQAデータセット上での最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-07-11T15:00:11Z)
• Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models [42.360431316298204]
  我々は、VQAのオープン化に重点を置いており、近年の言語モデルの発展によって、VQAを生成タスクと見なされている。 医療画像を言語モデルに適切に伝達するために,抽出した視覚的特徴を学習可能なトークンの集合にマッピングするネットワークを開発する。 我々は、Slake、OVQA、PathVQAといった主要な医療用VQAベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-03-10T15:17:22Z)
• Consistency-preserving Visual Question Answering in Medical Imaging [2.005299372367689]
  VQA(Visual Question Answering)モデルは、画像と自然言語の質問を入力として、質問に対する回答を推測する。 本稿では,課題間の関係を学習プロセスに含める新しい損失関数とそれに対応する訓練手順を提案する。 実験の結果,本手法は最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-27T13:38:50Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)
• A Question-Centric Model for Visual Question Answering in Medical Imaging [3.619444603816032]
  そこで本稿では,画像の問合せを質問文で行う視覚質問解答手法を提案する。 種々の医用・自然画像データセットを用いた実験により, 提案手法は, 画像特徴と疑問特徴を新しい方法で融合させることで, 従来の手法と同等あるいは高い精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2020-03-02T10:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。