論文の概要: Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise

• arxiv url: http://arxiv.org/abs/2407.11536v1
• Date: Tue, 16 Jul 2024 09:37:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:52:20.904089
• Title: Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
• Title（参考訳）: 長期的理解とドメインエキスパートのための微調整医療用言語モデル
• Authors: Qimin Yang, Rongsheng Wang, Jiexin Chen, Runqi Su, Tao Tan,
• Abstract要約: 大規模言語モデル(LLM)は様々な専門分野に広く応用されている。 特定のドメイン知識の改善にもかかわらず,長期理解における医学的LLMの性能は著しく低下している。
• 参考スコア（独自算出の注目度）: 2.1869349221557814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been widely applied in various professional fields. By fine-tuning the models using domain specific question and answer datasets, the professional domain knowledge and Q\&A abilities of these models have significantly improved, for example, medical professional LLMs that use fine-tuning of doctor-patient Q\&A data exhibit extraordinary disease diagnostic abilities. However, we observed that despite improvements in specific domain knowledge, the performance of medical LLM in long-context understanding has significantly declined, especially compared to general language models with similar parameters. The purpose of this study is to investigate the phenomenon of reduced performance in understanding long-context in medical LLM. We designed a series of experiments to conduct open-book professional knowledge exams on all models to evaluate their ability to read long-context. By adjusting the proportion and quantity of general data and medical data in the process of fine-tuning, we can determine the best data composition to optimize the professional model and achieve a balance between long-context performance and specific domain knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な専門分野に広く応用されている。 ドメイン固有の質問と回答データセットを用いてモデルを微調整することで、これらのモデルの専門的なドメイン知識とQ\&A能力が大幅に向上した。 しかし、特定のドメイン知識の改善にもかかわらず、長いコンテキスト理解における医学的LLMの性能は、特に類似したパラメータを持つ一般的な言語モデルと比較して著しく低下している。 本研究の目的は,医療用LLMにおける長文理解における性能低下現象について検討することである。 我々は、オープンブックの専門的知識試験をすべてのモデルで実施し、長文の読みやすさを評価する一連の実験を設計した。 微調整の過程で一般的なデータと医療データの比率と量を調整することで、プロのモデルを最適化し、長期のコンテキスト性能と特定のドメイン知識のバランスをとるのに最適なデータ構成を決定できる。

関連論文リスト

• LLMD: A Large Language Model for Interpreting Longitudinal Medical Records [0.044940580193534]
  本稿では,患者の医療履歴を医療記録に基づいて分析する大規模言語モデルを提案する。 LLMDはドメイン知識とともに、時間と施設間で収集された大量のレコードのコーパスで訓練されている。 このアプローチは患者の健康を正確に表現するために重要であり、知識だけで訓練されたモデルよりも独特なアドバンテージを持っている。
  論文  参考訳（メタデータ） (2024-10-11T20:55:51Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation [0.0]
  本研究では,医療用テキストに最適化された教師ありニューラルマシン翻訳モデルを開発するために,新しい"LLMs-in-the-loop"アプローチを提案する。 6つの言語での独自の平行コーパスは、科学論文、人工的に生成された臨床文書、医療文書から編纂された。 MarianMTベースのモデルは、Google Translate、DeepL、GPT-4-Turboより優れている。
  論文  参考訳（メタデータ） (2024-07-16T19:32:23Z)
• M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering [14.198330378235632]
  我々は,3つのジェネラリストと3つの専門的なバイオメディカルサブドメインにおいて,22のデータセットに関する大規模な実験研究を行うために,複数選択と抽象質問応答を用いた。 15個のLLMの性能の多面的解析により、リコールや理解の向上につながる命令チューニングなどの成功要因が明らかになった。 最近提案されたドメイン適応モデルには十分な知識が欠如している可能性があるが、収集した医療知識データセットを直接微調整することは、奨励的な結果を示している。 我々は、必要な知識を単に思い出し、提示された知識と統合するモデルの能力の間に大きなギャップがあることを明らかにする、スキル指向手動エラー解析で定量的結果を補完する。
  論文  参考訳（メタデータ） (2024-06-06T02:43:21Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• MedLM: Exploring Language Models for Medical Question Answering Systems [2.84801080855027]
  大きな言語モデル(LLM)とその高度な生成能力は、様々なNLPタスクにおいて有望であることを示している。 本研究の目的は,医療用Q&Aにおける一般用および医療用蒸留機の性能を比較することである。 この知見は、医学領域における特定の用途における異なるLMの適合性に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-01-21T03:37:47Z)
• EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge [28.409333447902693]
  大規模言語モデル(LLM)は包括的および生成能力において顕著な性能を達成する。 本研究では, エピレプシーと日本語の特定の疾患に焦点を当て, エピレプシーLLM(エピレプシーLLM)と呼ばれる, カスタマイズされたLLMを導入する。 データセットには、疾患に関する基本的な情報、一般的な治療方法や薬物、生活や仕事における重要なメモが含まれている。
  論文  参考訳（メタデータ） (2024-01-11T13:39:00Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。