論文の概要: JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models
using Instruction-tuning
- arxiv url: http://arxiv.org/abs/2310.10083v2
- Date: Fri, 1 Dec 2023 00:29:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 17:45:34.304826
- Title: JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models
using Instruction-tuning
- Title（参考訳）: JMedLoRA:インストラクションチューニングを用いた日本語大言語モデルの医学領域適応
- Authors: Issey Sukeda, Masahiro Suzuki, Hiroki Sakaji, Satoshi Kodera
- Abstract要約: 本報告では,LoRAに基づく指導指導が日本語の質問応答課題におけるパフォーマンスに与える影響について述べる。
本研究は,日本語のドメイン適応における英語中心モデルの適用の可能性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 5.249703210938688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the ongoing wave of impact driven by large language models (LLMs) like
ChatGPT, the adaptation of LLMs to medical domain has emerged as a crucial
research frontier. Since mainstream LLMs tend to be designed for
general-purpose applications, constructing a medical LLM through domain
adaptation is a huge challenge. While instruction-tuning is used to fine-tune
some LLMs, its precise roles in domain adaptation remain unknown. Here we show
the contribution of LoRA-based instruction-tuning to performance in Japanese
medical question-answering tasks. In doing so, we employ a multifaceted
evaluation for multiple-choice questions, including scoring based on "Exact
match" and "Gestalt distance" in addition to the conventional accuracy. Our
findings suggest that LoRA-based instruction-tuning can partially incorporate
domain-specific knowledge into LLMs, with larger models demonstrating more
pronounced effects. Furthermore, our results underscore the potential of
adapting English-centric models for Japanese applications in domain adaptation,
while also highlighting the persisting limitations of Japanese-centric models.
This initiative represents a pioneering effort in enabling medical institutions
to fine-tune and operate models without relying on external services.
- Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)による継続的な影響の波の中で、医学領域へのLSMの適応が重要な研究フロンティアとして現れている。
主流のLSMは汎用アプリケーション向けに設計される傾向があるため、ドメイン適応による医療用LSMの構築は大きな課題である。
命令チューニングはいくつかのLSMを微調整するために使用されるが、ドメイン適応におけるその正確な役割は不明である。
ここでは,LoRAに基づく指導指導が日本語の質問応答タスクにおけるパフォーマンスに与える影響について述べる。
そこで我々は,従来の精度に加えて,"Exact Match" と "Gestalt distance" に基づく得点を含む,多面的質問に対する多面的評価を採用する。
以上の結果から,LoRAに基づく命令チューニングはLLMにドメイン固有の知識を部分的に組み込むことが可能であることが示唆された。
さらに,本研究は,英語中心モデルの日本語適応の可能性を強調しつつ,日本語中心モデルの持続的な制限を強調するものである。
このイニシアチブは、医療機関が外部サービスに頼ることなくモデルを微調整し運用できるようにするための先駆的な取り組みである。
関連論文リスト
- Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources [0.0]
本稿では,近年の7Bモデルに基づく医療適応について述べる。
日本語医学データセットに基づく英語中心ベースモデルの微調整により,両言語のスコアが向上することが判明した。
論文 参考訳（メタデータ） (2024-09-18T08:07:37Z) - 70B-parameter large language models in Japanese medical question-answering [0.0]
本研究では,日本語医学的質問回答データセットを用いた指導指導が,日本の医学的ライセンス試験の解決能力を大幅に向上させることを示す。
特に、日本語中心のモデルでは、英語中心のモデルに比べて、指導調律による改良が顕著に進んでいる。
論文 参考訳（メタデータ） (2024-06-21T06:04:10Z) - BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳（メタデータ） (2024-03-27T08:57:21Z) - Can Large Language Models abstract Medical Coded Language? [0.0]
大規模言語モデル(LLM)は医療コードを認識しており、これらのコードから正確に名前を生成することができる。
本研究は,大規模言語モデル(LLM)が医療コードを認識し,それらのコードから正確に名前を生成することができるかどうかを評価する。
論文 参考訳（メタデータ） (2024-03-16T06:18:15Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-02-20T09:02:55Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳（メタデータ） (2024-02-05T08:25:22Z) - EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with
Epilepsy Medical Knowledge [28.409333447902693]
大規模言語モデル(LLM)は包括的および生成能力において顕著な性能を達成する。
本研究では, エピレプシーと日本語の特定の疾患に焦点を当て, エピレプシーLLM(エピレプシーLLM)と呼ばれる, カスタマイズされたLLMを導入する。
データセットには、疾患に関する基本的な情報、一般的な治療方法や薬物、生活や仕事における重要なメモが含まれている。
論文 参考訳（メタデータ） (2024-01-11T13:39:00Z) - Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
私たちはその可能性を調査する。
多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング
ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。
以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
論文 参考訳（メタデータ） (2023-11-14T22:32:39Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。
我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文 参考訳（メタデータ） (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Improving Small Language Models on PubMedQA via Generative Data
Augmentation [4.96649519549027]
大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。
小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。
医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-12T23:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。