論文の概要: FineMedLM-o1: Enhancing the Medical Reasoning Ability of LLM from Supervised Fine-Tuning to Test-Time Training

• arxiv url: http://arxiv.org/abs/2501.09213v2
• Date: Thu, 13 Feb 2025 02:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:47.298521
• Title: FineMedLM-o1: Enhancing the Medical Reasoning Ability of LLM from Supervised Fine-Tuning to Test-Time Training
• Title（参考訳）: FineMedLM-o1: LLMの医学的推論能力の向上
• Authors: Hongzhou Yu, Tianhao Cheng, Ying Cheng, Rui Feng,
• Abstract要約: FineMedLM-o1は医学的推論のための大きな言語モデルである。 Supervised Fine-Tuning (SFT) と Direct Preference Optimization (DPO) のための高品質な合成医療データと長文推論データを用いる。 また,臨床領域でテストタイムトレーニング(TTT)を初めて導入し,ドメイン適応の促進と信頼性,正確な推論の確保を図った。
• 参考スコア（独自算出の注目度）: 12.1175788614508
• License:
• Abstract: Recent advancements in large language models (LLMs) have shown promise in medical applications such as disease diagnosis and treatment planning. However, most existing medical LLMs struggle with the advanced reasoning required for complex clinical scenarios, such as differential diagnosis or personalized treatment suggestions. We proposed FineMedLM-o1, which leverages high-quality synthetic medical data and long-form reasoning data for Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO), enabling advanced dialogue and deep reasoning capabilities. Additionally, we introduced Test-Time Training (TTT) in the medical domain for the first time, facilitating domain adaptation and ensuring reliable, accurate reasoning. Experimental results demonstrate that FineMedLM-o1 achieves a 23% average performance improvement over prior models on key medical benchmarks. Furthermore, the introduction of TTT provides an additional 14% performance boost, highlighting its effectiveness in enhancing medical reasoning capabilities. To support this process, we also proposed a novel method for synthesizing medical dialogue. Compared to other open-source datasets, our dataset stands out as superior in both quality and complexity. The project and data will be released on GitHub.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、疾患診断や治療計画などの医学的応用において有望であることを示している。 しかし、既存の医療用LLMのほとんどは、鑑別診断やパーソナライズされた治療提案など、複雑な臨床シナリオに必要な高度な推論に苦慮している。 我々は,高品質な合成医療データと長文推論データを活用するFineMedLM-o1を提案し,高度な対話と深い推論機能を実現する。 さらに,臨床領域でテストタイムトレーニング(TTT)を初めて導入し,ドメイン適応を容易にし,信頼性と正確な推論を確実にした。 実験結果から,FinMedLM-o1は前モデルよりも23%の性能向上を実現していることがわかった。 さらに、TTTの導入により、さらに14%のパフォーマンスが向上し、医学的推論能力を高める効果が強調される。 このプロセスを支援するために,医療対話を合成する新しい手法も提案した。 他のオープンソースデータセットと比較して、私たちのデータセットは品質と複雑さの両方において優れていると評価されています。 プロジェクトとデータはGitHubでリリースされる。

関連論文リスト

• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• Enhancing Healthcare through Large Language Models: A Study on Medical Question Answering [13.237829215746443]
  Sentence-t5 + Mistral 7B モデルは、正確な医療回答の理解と生成に優れている。 以上の結果から,医学的文脈における高度なLCMの統合の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-08T00:35:39Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches [7.3384872719063114]
  我々は,Llama-2アーキテクチャに基づく医療用大規模言語モデル(LLM)を開発し,改良した。 本実験は,様々な医用ベンチマークを用いて,これらのチューニング戦略の有効性を体系的に評価した。
  論文  参考訳（メタデータ） (2024-04-23T06:36:21Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback [19.564416963801268]
  プロセスフィードバックから選好学習というアプローチを提案する。 PLPFは医師の診断ロジックをLSMに統合する。 PLPFは医療会話におけるベースラインモデルの診断精度を17.6%向上させる。
  論文  参考訳（メタデータ） (2024-01-11T06:42:45Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching [49.78442796596806]
  患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。 本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
  論文  参考訳（メタデータ） (2023-03-24T03:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。