論文の概要: EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with
Epilepsy Medical Knowledge
- arxiv url: http://arxiv.org/abs/2401.05908v1
- Date: Thu, 11 Jan 2024 13:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 14:41:33.255002
- Title: EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with
Epilepsy Medical Knowledge
- Title(参考訳): EpilepsyLLM: てんかん医学知識を応用したドメイン特化大言語モデル
- Authors: Xuyang Zhao and Qibin Zhao and Toshihisa Tanaka
- Abstract要約: 大規模言語モデル(LLM)は包括的および生成能力において顕著な性能を達成する。
本研究では, エピレプシーと日本語の特定の疾患に焦点を当て, エピレプシーLLM(エピレプシーLLM)と呼ばれる, カスタマイズされたLLMを導入する。
データセットには、疾患に関する基本的な情報、一般的な治療方法や薬物、生活や仕事における重要なメモが含まれている。
- 参考スコア(独自算出の注目度): 28.409333447902693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With large training datasets and massive amounts of computing sources, large
language models (LLMs) achieve remarkable performance in comprehensive and
generative ability. Based on those powerful LLMs, the model fine-tuned with
domain-specific datasets posseses more specialized knowledge and thus is more
practical like medical LLMs. However, the existing fine-tuned medical LLMs are
limited to general medical knowledge with English language. For
disease-specific problems, the model's response is inaccurate and sometimes
even completely irrelevant, especially when using a language other than
English. In this work, we focus on the particular disease of Epilepsy with
Japanese language and introduce a customized LLM termed as EpilepsyLLM. Our
model is trained from the pre-trained LLM by fine-tuning technique using
datasets from the epilepsy domain. The datasets contain knowledge of basic
information about disease, common treatment methods and drugs, and important
notes in life and work. The experimental results demonstrate that EpilepsyLLM
can provide more reliable and specialized medical knowledge responses.
- Abstract(参考訳): 大規模なトレーニングデータセットと大量のコンピューティングソースにより、大規模言語モデル(LLM)は包括的および生成能力において顕著なパフォーマンスを達成する。
これらの強力なLLMに基づいて、ドメイン固有のデータセットで微調整されたモデルは、より専門的な知識を持ち、医用LLMのようにより実用的なものである。
しかし、既存の微調整医療 LLM は英語の一般的な医学知識に限られている。
病気特有の問題では、モデルの反応は不正確であり、特に英語以外の言語を使用する場合、時には完全に無関係である。
本研究では, エピレプシーと日本語の特定の疾患に焦点を当て, エピレプシーLLMと呼ばれる独自のLSMを導入する。
我々のモデルは, てんかん領域からのデータセットを用いた微調整技術により, 予め訓練したLSMから訓練される。
データセットには、疾患に関する基本的な情報、一般的な治療方法や薬物、生活や仕事における重要なメモが含まれている。
実験の結果、てんかんはより信頼性が高く、専門的な医学的知識の応答を提供できることが示された。
関連論文リスト
- Editing Factual Knowledge and Explanatory Ability of Medical Large
Language Models [95.4008873587564]
モデル編集は、特定の知識に基づいて大きな言語モデル(LLM)の振る舞いを正確に修正することを目的としている。
LLMの幻覚や時代遅れの問題の解決に有効であることが証明されている。
本稿では,2つのモデル編集研究を提案し,それらを医療領域で検証する。
論文 参考訳(メタデータ) (2024-02-28T06:40:57Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - From Beginner to Expert: Modeling Medical Knowledge into General LLMs [22.475129648458136]
大規模言語モデル(LLM)に基づく人工知能(AI)システムは、自然言語の理解と生成において顕著な能力を示した。
これらのモデルは、医学的な知識を推論したり、医師のような方法で医学的な疑問に答えたりするといった、繊細な応用に関して重要な課題に直面している。
本研究は、事前訓練された一般LLMモデル(AntGLM-10B)から始まり、医療初心者から医療専門家(AntGLM-Med-10B)に微調整する。
論文 参考訳(メタデータ) (2023-12-02T05:54:06Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Knowledge-tuning Large Language Models with Structured Medical Knowledge
Bases for Reliable Response Generation in Chinese [29.389119917322102]
大規模言語モデル(LLM)は、汎用ドメインにおける多種多様な自然言語処理(NLP)タスクにおいて顕著な成功を収めている。
本稿では,LLMがドメイン知識を効率的に把握するために,構造化された医療知識ベースを活用する知識チューニングを提案する。
また、医療知識ベースから構築された中国の医学知識質問応答データセットであるcMedKnowQAをリリースする。
論文 参考訳(メタデータ) (2023-09-08T07:42:57Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z) - Language Models sounds the Death Knell of Knowledge Graphs [0.0]
ディープラーニングに基づくNLP、特にLarge Language Models(LLM)は広く受け入れられており、多くのアプリケーションで広く使われている。
BioBERTとMed-BERTは医療分野向けに事前訓練された言語モデルである。
本稿では、知識グラフを用いることは、この領域の問題を解決する最善の解決策ではない、と論じる。
論文 参考訳(メタデータ) (2023-01-10T14:20:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。