論文の概要: QM-ToT: A Medical Tree of Thoughts Reasoning Framework for Quantized Model

• arxiv url: http://arxiv.org/abs/2504.12334v1
• Date: Sun, 13 Apr 2025 12:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:37:26.987714
• Title: QM-ToT: A Medical Tree of Thoughts Reasoning Framework for Quantized Model
• Title（参考訳）: QM-ToT:量子モデルのための思考推論フレームワーク
• Authors: Zongxian Yang, Jiayu Qian, Zhi-An Huang, Kay Chen Tan,
• Abstract要約: 大規模言語モデル(LLM)は、医学的推論に固有の複雑さのために、専門的な生物医学的タスクにおいて重大な課題に直面している。 パスベースの推論フレームワークであるQuantized Medical Tree of Thought (QM-ToT)を提案する。 LLaMA2-70bモデルでは34%から50%,LLaMA-3.1-8bでは58.77%から69.49%に顕著な精度向上を示した。
• 参考スコア（独自算出の注目度）: 15.30318329533069
• License:
• Abstract: Large language models (LLMs) face significant challenges in specialized biomedical tasks due to the inherent complexity of medical reasoning and the sensitive nature of clinical data. Existing LLMs often struggle with intricate medical terminology and the need for accurate clinical insights, leading to performance reduction when quantized for resource-constrained deployment. To address these issues, we propose Quantized Medical Tree of Thought (QM-ToT), a path-based reasoning framework. QM-ToT leverages a Tree of Thought (ToT) reasoning approach to decompose complex medical problems into manageable subtasks, coupled with evaluator assessment layers. This framework facilitates substantial performance improvements in INT4-quantized models on the challenging MedQAUSMLE dataset. Specifically, we demonstrate a remarkable accuracy increase from 34% to 50% for the LLaMA2-70b model and from 58.77% to 69.49% for LLaMA-3.1-8b. Besides, we also proposed an effect data distillation method based on ToT. Compared to the traditional distillation method, we achieved an improvement of 86. 27% while using only 3.9% of the data.This work, for the first time, showcases the potential of ToT to significantly enhance performance on complex biomedical tasks, establishing a crucial foundation for future advances in deploying high-performing quantized LLM in resource-limited medical settings.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、医学的推論の複雑さと臨床データの繊細な性質のために、特殊な生物医学的タスクにおいて重大な課題に直面している。 既存のLLMは、複雑な医療用語と正確な臨床的洞察の必要性に苦しむことが多く、資源制約された展開のために定量化されると性能が低下する。 これらの問題に対処するために、パスベースの推論フレームワークであるQuantized Medical Tree of Thought (QM-ToT)を提案する。 QM-ToTは、複雑な医療問題を管理可能なサブタスクに分解するために、Tree of Thought (ToT)推論アプローチを活用する。 このフレームワークは、挑戦的なMedQAUSMLEデータセット上でのINT4量子化モデルの大幅なパフォーマンス向上を実現する。 具体的には,LLaMA2-70bモデルでは34%から50%,LLaMA-3.1-8bでは58.77%から69.49%に顕著な精度向上を示した。 また,ToTに基づく効果データ蒸留法も提案した。 従来の蒸留法と比較して,86。 この研究は、ToTが複雑なバイオメディカルタスクのパフォーマンスを著しく向上させる可能性を初めて示し、リソース制限された医療環境における高性能な量子化LDMの展開において、今後重要な基礎を築いた。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• LLM-MedQA: Enhancing Medical Question Answering through Case Studies in Large Language Models [18.6994780408699]
  大規模言語モデル (LLM) は、医学的質問応答において重大な課題に直面している。 マルチエージェント医療質問応答システムに類似の事例生成を取り入れた新しい手法を提案する。 本手法は, モデル固有の医療知識と推論能力を活用し, 追加のトレーニングデータの必要性を解消する。
  論文  参考訳（メタデータ） (2024-12-31T19:55:45Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability [8.476124605775976]
  LLM(Large Language Models)は、医学知識の獲得と質問応答において顕著な可能性を実証している。 LLMは、ドメイン固有の事前訓練であっても、幻覚を起こし、事実的に誤った結果をもたらす可能性がある。 JMLR(LLMと情報検索)を微調整期間中に導入し,幻覚に対処する。
  論文  参考訳（メタデータ） (2024-02-27T21:01:41Z)
• RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question Answering and Clinical Reasoning [14.366349078707263]
  RJUA-MedDQAは医学専門分野における総合的なベンチマークである。 本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T06:57:02Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model [41.11769935795965]
  本稿では,ドメイン固有型連続事前学習(DCPT),スーパーバイザードファインチューニング(SFT),直接選好最適化(DPO)を組み合わせた多段階学習手法を提案する。 CPTとSFTの段階では、Qilin-MedはCMExamテストセットでそれぞれ38.4%と40.0%の精度を達成した。 DPOフェーズでは、BLEU-1で16.66点、Huatuo-26MテストセットでROUGE-1で27.44点を記録し、SFTフェーズ(BLEU-1で12.69点、ROUGE-1で24.21点)をさらに改善した。
  論文  参考訳（メタデータ） (2023-10-13T13:17:03Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。