論文の概要: LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing
- arxiv url: http://arxiv.org/abs/2406.02350v1
- Date: Tue, 4 Jun 2024 14:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 16:00:43.770024
- Title: LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing
- Title（参考訳）: LlamaCare: 医療知識共有を促進するための大規模医療用言語モデル
- Authors: Maojun Sun,
- Abstract要約: 24G GPUでChatGPTと同等の性能を示した。
冗長な分類解の問題を解き、拡張分類統合と呼ばれる新しいモジュールを提案することでLCMの性能を改善した。
提案手法は,ベンチマークにおける最先端モデルと密接な関係を保ちながら,同じパラメータを持つLLMと比較してGPUリソースの削減を図っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown amazing capabilities in knowledge memorization and present. However, when it comes to domain-specific knowledge and downstream tasks like medical, general LLMs are often unable to give precise answers. In addition, when people want LLMs to answer classification questions, they usually go through instruction tuning first, however, LLMs do not always give a direct index of the categorization after instruction tuning. In this paper, we proposed LlamaCare, a fine-tuned medical language model, and Extended Classification Integration(ECI), a module to handle classification problems of LLMs. Our contributions are : (i) We fine-tuned a large language model of medical knowledge with very low carbon emissions and achieved similar performance with ChatGPT by a 24G GPU. (ii) We solved the problem of redundant categorical answers and improved the performance of LLMs by proposing a new module called Extended Classification Integration. (iii) We released our processed data for one-shot and few-shot training for some benchmarks such as PubMedQA and USMLE 1-3 step. Our method achieves a close effect with the state-of-the-art model in benchmarks while costing lower GPU resources compared to LLMs with the same quantity of parameters. Our models, codes, and datasets can be found in https://github.com/Stephen-SMJ/LLamaCare
- Abstract（参考訳）: 大規模言語モデル(LLM)は、知識の記憶と現在における驚くべき能力を示している。
しかし、ドメイン固有の知識や医学のような下流のタスクに関しては、一般のLLMは正確な答えを与えることができないことが多い。
また, LLMを分類問題に答えたい場合, 通常は命令チューニングを先導するが, LLMは必ずしも命令チューニング後に分類の直接的な指標を与えるとは限らない。
本稿では,細調整医療用言語モデルであるLlamaCareと,LLMの分類問題を扱うモジュールである拡張分類統合(ECI)を提案する。
私たちの貢献は
(i)24G GPUによるChatGPTと同様の性能を達成し,低炭素排出量の医療知識の大規模言語モデルを微調整した。
(II)拡張分類統合と呼ばれる新しいモジュールを提案することにより,冗長な分類解の解決とLLMの性能向上を実現した。
(iii) PubMedQA や USMLE 1-3 ステップなど,いくつかのベンチマークを対象としたワンショットおよび少数ショットトレーニングのための処理データをリリースした。
提案手法は,ベンチマークにおける最先端モデルと密接な関係を保ちながら,同じパラメータを持つLLMと比較してGPUリソースの削減を図っている。
私たちのモデル、コード、データセットはhttps://github.com/Stephen-SMJ/LLamaCareにある。
関連論文リスト
- MEG: Medical Knowledge-Augmented Large Language Models for Question Answering [37.3562521243773]
本稿では,医療知識を付加したLCMのパラメータ効率向上手法であるMEGを提案する。
本手法は,4つの医用マルチチョイスデータセットを用いて評価する。
論文 参考訳（メタデータ） (2024-11-06T12:57:58Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。
本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。
また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
論文 参考訳（メタデータ） (2024-04-16T08:28:16Z) - Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳（メタデータ） (2024-03-08T05:59:56Z) - CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。
我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
論文 参考訳（メタデータ） (2023-12-04T05:13:59Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳（メタデータ） (2023-10-05T00:04:12Z) - MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。
本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。
Vicuna-7Bは44.46%から48.54%の精度向上を示した。
論文 参考訳（メタデータ） (2023-09-27T21:26:03Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。