論文の概要: GRASP: Group-Adaptive Hybrid RL-SFT Post-Training for Medical VQA without Reasoning Annotations

• arxiv url: http://arxiv.org/abs/2610.34561v1
• Date: Sun, 25 Oct 2026 21:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.635533
• Title: GRASP: Group-Adaptive Hybrid RL-SFT Post-Training for Medical VQA without Reasoning Annotations
• Title（参考訳）: GRASP: グループ適応型ハイブリッドRL-SFTポストトライニング
• Abstract要約: 医用視覚質問応答(VQA)に視覚言語モデルを適用することは、臨床医が画像を読み、診断するのに役立つ。 Supervised Fine-tuning (SFT) はこれらのラベルに適合するが、それらに過度に適合し、バイアスを増幅する。 本稿では,短時間の回答のみを用いて,更新毎にRLとSFTを組み合わせたGRASPを提案する。
• 参考スコア（独自算出の注目度）: 7.200400022777284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting general-purpose vision-language models (VLMs) to medical visual question answering (VQA) is valuable for helping clinicians read images and make diagnoses, but annotated data are scarce and provide only short answers, without reasoning annotations. Supervised fine-tuning (SFT) fits these labels but overfits to them and amplifies their biases, eroding out-of-domain (OOD) generalization. Reinforcement learning (RL) better preserves generalization but never uses the gold answer as a training target: GRPO-style algorithms learn from the contrast between correct and incorrect answers within a group of sampled responses, so all-correct or all-wrong groups give no correctness signal. Existing SFT-RL hybrids either apply SFT and RL in separate stages or switch between them per question, or need reasoning traces from experts or stronger models, which medical VQA data lack. We propose GRASP, which combines RL and SFT in every update using only short answers: RL lets the model explore its own reasoning, SFT teaches the gold answer after that reasoning to supply the direct supervision RL lacks, and their balance adapts to how well the model answers each question. Tuning only about 1% of the parameters with LoRA, GRASP outperforms all compared training objectives both in domain and on OOD open-ended questions across Qwen3-VL-8B, InternVL3-8B and Gemma 3-4B. On an OOD benchmark spanning eight imaging modalities, GRASP-trained InternVL3-8B and Qwen3-VL-8B beat all 10 compared general and medical VLMs in open-ended accuracy, including models trained on up to 2,600 times more data or with over 250 times more trainable parameters. We release MedTerse, a dataset of 12.9K short-answer questions, and our code at https://github.com/sea-comet/GRASP-MedVQA.
• Abstract（参考訳）: 汎用視覚言語モデル(VLM)を医用視覚質問応答(VQA)に適応させることは、臨床医が画像を読み、診断するのに役立つが、注釈付きデータは乏しく、アノテーションを推論することなく短い回答しか得られない。 Supervised Fine-tuning (SFT) はこれらのラベルに適合するが、過度に適合し、バイアスを増幅し、ドメイン外一般化(OOD)を侵食する。 GRPOスタイルのアルゴリズムは、サンプリングされた応答群内の正解と誤答のコントラストから学習するので、すべての正解群と全正解群は正解信号を与えない。 既存のSFT-RLハイブリッドは、SFTとRLを別々の段階で適用するか、質問ごとに切り替えるか、あるいは医療用VQAデータに欠けている専門家やより強力なモデルからの推論の痕跡を必要とする。 RLは、モデルが自身の推論を探索できるようにし、SFTは、直接監督RLの欠如を補うために、金の答えを教え、それらのバランスは、モデルが各質問に対してどれだけうまく答えられるかに適応する。 LoRAでパラメータの約1%をチューニングしたGRASPは、Qwen3-VL-8B、InternVL3-8B、Gemma 3-4Bで、ドメインとOODの両方でトレーニング目標を比較している。 OODベンチマークでは、GRASPでトレーニングされたInternVL3-8BとQwen3-VL-8Bが、最大2600倍以上のデータまたは250倍以上のトレーニング可能なパラメータでトレーニングされたモデルを含む10個の一般的なVLMと医療用VLMのすべてを上回った。 MedTerseは12.9Kの短い質問のデータセットで、https://github.com/sea-comet/GRASP-MedVQA.comでコードを公開しています。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards [29.53129965767002]
  バイナリフレキシブルフィードバック(RLBFF)を用いた強化学習を提案する。 RLBFFは、人間主導の好みの汎用性とルールベースの検証の精度を組み合わせる。 この方法で訓練されたReward Modelsは、データにマッチするとBradley-Terryモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-25T16:19:06Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback [13.154512864498912]
  強化学習(RL)と教師付きファインチューニング(SFT)を交互に行う2段階アルゴリズムARESを提案する。 第一に、我々は教師に、各文が問題の解決にどれだけ貢献するかを、CoT(Chain-of-Thought)で得点するように要求する。 次に,教師にRL後の誤った推論の修正を依頼する。補正フィードバックにより,SFTによるRL微調整モデルを安定化する。
  論文  参考訳（メタデータ） (2024-06-25T07:20:11Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。