Fugu-MT 論文翻訳(概要): Aligning Medical Conversational AI through Online Reinforcement Learning with Information-Theoretic Rewards

論文の概要: Aligning Medical Conversational AI through Online Reinforcement Learning with Information-Theoretic Rewards

arxiv url: http://arxiv.org/abs/2601.17828v1
Date: Sun, 25 Jan 2026 13:19:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-27 15:23:08.421642
Title: Aligning Medical Conversational AI through Online Reinforcement Learning with Information-Theoretic Rewards
Title（参考訳）: 情報理論リワードを用いたオンライン強化学習による医療会話型AIの調整
Authors: Tanvi Verma, Yang Zhou, Rick Siow Mong Goh, Yong Liu,
Abstract要約: IGFT(Information Gain Fine-Tuning)は、医療会話型AIを訓練し、効果的な患者インタビューを行うための新しいアプローチである。 LoRA: Llama-3.1-8B-Instruct と DeepSeek-R1-Distill-Qwen-7B の2つのモデルを微調整する。
参考スコア（独自算出の注目度）: 25.802538135442166
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We present Information Gain Fine-Tuning (IGFT), a novel approach for training medical conversational AI to conduct effective patient interviews and generate comprehensive History of Present Illness (HPI) without requiring pre-collected human conversations. IGFT combines online Group Relative Policy Optimization (GRPO) with information-theoretic rewards, enabling models to learn from self-generated conversations with simulated patients. Unlike existing approaches that rely on expensive expert-annotated conversations or static datasets, our online RL framework allows models to discover effective questioning strategies through exploration. Our key innovation is an information gain reward function that tracks which clinical entities such as symptoms, temporal patterns, and medical history, are revealed during conversation. Each question's reward is computed based on its expected information gain combined with GPT-4o-mini quality assessments across dimensions including clinical relevance, patient engagement, and specificity. This hybrid approach ensures models learn to ask targeted, clinically appropriate questions that efficiently gather diagnostic information. We fine-tune two models using LoRA: Llama-3.1-8B-Instruct and DeepSeek-R1-Distill-Qwen-7B (a reasoning-optimized model). Training exclusively on Avey data containing concise HPIs, we evaluate generalization to MIMIC data with longer, more elaborate HPIs. DeepSeek-R1-Distill-Qwen-7B (IGFT) achieves F1 scores of 0.408 on Avey (10.9% improvement over base) and 0.289 on MIMIC (12.9% improvement), while Llama-3.1-8B-Instruct (IGFT) reaches 0.384 and 0.336 respectively. Both models outperform OpenAI's model on MIMIC and surpass medical domain-specific baselines like HuatuoGPT and UltraMedical, which were optimized for single-turn medical QA rather than multi-turn conversations.
Abstract（参考訳）: Information Gain Fine-Tuning (IGFT) は、医療会話AIを訓練し、効果的な患者インタビューを行い、ヒトの会話を事前に収集することなく、包括的に現在病の歴史(HPI)を生成するための新しいアプローチである。 IGFTは、オンライングループ相対政策最適化(GRPO)と情報理論的な報酬を組み合わせることで、モデルがシミュレーションされた患者と自己生成された会話から学ぶことができる。高価なエキスパートアノテートされた会話や静的データセットに依存する既存のアプローチとは異なり、オンラインRLフレームワークでは、探索を通じてモデルが効果的な質問戦略を見つけることができます。私たちの重要な革新は、会話中に症状、時間的パターン、医療履歴などの臨床エンティティが明らかにされるかどうかを追跡する情報ゲイン報酬機能です。各質問の報酬は、予想される情報ゲインと臨床関連性、患者エンゲージメント、特異性を含む範囲にわたるGPT-4o-mini品質評価とを組み合わせて計算される。このハイブリッドアプローチにより、モデルがターゲットを絞った、臨床的に適切な質問をし、診断情報を効率的に収集することが可能になる。 Llama-3.1-8B-Instruct と DeepSeek-R1-Distill-Qwen-7B (推論最適化モデル) の2つのモデルを微調整する。簡潔なHPIを含むAveyデータのみを訓練し,より詳細なHPIを用いてMIMICデータへの一般化を評価する。 DeepSeek-R1-Distill-Qwen-7B (IGFT)はAveyで0.408点(ベースで10.9%改善)、MIMICで0.289点(12.9%改善)、Llama-3.1-8B-Instruct (IGFT)は0.384点、0.336点である。どちらのモデルも、OpenAIのMIMICモデルよりも優れており、HuatuoGPTやUltraMedicalといった医療ドメイン固有のベースラインを上回り、マルチターン会話よりもシングルターン医療QAに最適化されている。

論文の概要: Aligning Medical Conversational AI through Online Reinforcement Learning with Information-Theoretic Rewards

関連論文リスト