論文の概要: Towards Training A Chinese Large Language Model for Anesthesiology

• arxiv url: http://arxiv.org/abs/2403.02742v1
• Date: Tue, 5 Mar 2024 07:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 15:37:14.367637
• Title: Towards Training A Chinese Large Language Model for Anesthesiology
• Title（参考訳）: 麻酔科における中国語大言語モデルの育成に向けて
• Authors: Zhonghai Wang, Jie Jiang, Yibing Zhan, Bohao Zhou, Yanhong Li, Chong Zhang, Liang Ding, Hua Jin, Jun Peng, Xu Lin, and Weifeng Liu
• Abstract要約: 既存の医療用大言語モデル(例えばLlama)に基づいて構築された中国語麻酔モデルを紹介する。 ヒュプノスの貢献には3つの側面がある: 1) 現在のLSMから取得した自己指示(Self-Instruct)などのデータは、おそらく不正確である。 Hypnos は、一般的な医学データを用いて微調整 LLM から始まり、麻酔学からのデータを用いて微調整 LLM を改善する、汎用的な訓練戦略を採用している。
• 参考スコア（独自算出の注目度）: 37.44529879903248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical large language models (LLMs) have gained popularity recently due to their significant practical utility. However, most existing research focuses on general medicine, and there is a need for in-depth study of LLMs in specific fields like anesthesiology. To fill the gap, we introduce Hypnos, a Chinese Anesthesia model built upon existing LLMs, e.g., Llama. Hypnos' contributions have three aspects: 1) The data, such as utilizing Self-Instruct, acquired from current LLMs likely includes inaccuracies. Hypnos implements a cross-filtering strategy to improve the data quality. This strategy involves using one LLM to assess the quality of the generated data from another LLM and filtering out the data with low quality. 2) Hypnos employs a general-to-specific training strategy that starts by fine-tuning LLMs using the general medicine data and subsequently improving the fine-tuned LLMs using data specifically from Anesthesiology. The general medical data supplement the medical expertise in Anesthesiology and enhance the effectiveness of Hypnos' generation. 3) We introduce a standardized benchmark for evaluating medical LLM in Anesthesiology. Our benchmark includes both publicly available instances from the Internet and privately obtained cases from the Hospital. Hypnos outperforms other medical LLMs in anesthesiology in metrics, GPT-4, and human evaluation on the benchmark dataset.
• Abstract（参考訳）: 近年,医療用大規模言語モデル (LLM) が実用化されている。 しかし、既存の研究のほとんどは一般医学に焦点をあてており、麻酔学のような特定の分野におけるLSMの詳細な研究が必要である。 このギャップを埋めるために,既存のLLM上に構築された中国の麻酔モデルであるHypnosを紹介する。 hypnosの貢献には3つの側面がある。 1)現在のLCMから取得したSelf-Instructなどのデータは、不正確である可能性が高い。 hypnosはデータ品質を改善するためにクロスフィルタ戦略を実装している。 この戦略では、あるLLMを使用して、別のLLMから生成されたデータの品質を評価し、低い品質でデータをフィルタリングする。 2)Hypnos は一般医用データを用いた微調整 LLM から始まり,特に麻酔学のデータを用いて微調整 LLM を改善する総合訓練戦略を採用している。 一般的な医療データは麻酔学の専門知識を補い、Hypnos世代の有効性を高める。 3) 麻酔学におけるLLM評価のための標準ベンチマークを導入する。 我々のベンチマークには、インターネットから公開可能なインスタンスと、病院から取得したプライベートケースの両方が含まれている。 Hypnosは、メトリクス、GPT-4、およびベンチマークデータセットにおける人間の評価において、他の医学的LLMよりも優れている。

関連論文リスト

• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering with open-source large language models [4.556924372105915]
  オープンソース(OS)モデルは、医療用LDMにとって重要な成長領域である。 医用ベンチマークでOS LLMに対してSOTA(State-of-the-art)パフォーマンスを提供するプロンプトプラットフォームであるOpenMedLMを提案する。
  論文  参考訳（メタデータ） (2024-02-29T17:19:39Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• From Beginner to Expert: Modeling Medical Knowledge into General LLMs [22.475129648458136]
  大規模言語モデル(LLM)に基づく人工知能(AI)システムは、自然言語の理解と生成において顕著な能力を示した。 これらのモデルは、医学的な知識を推論したり、医師のような方法で医学的な疑問に答えたりするといった、繊細な応用に関して重要な課題に直面している。 本研究は、事前訓練された一般LLMモデル(AntGLM-10B)から始まり、医療初心者から医療専門家(AntGLM-Med-10B)に微調整する。
  論文  参考訳（メタデータ） (2023-12-02T05:54:06Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Augmenting Black-box LLMs with Medical Textbooks for Clinical Question Answering [54.13933019557655]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• Enhancing Small Medical Learners with Privacy-preserving Contextual Prompting [24.201549275369487]
  本稿では,大規模言語モデルの専門知識を活用して,プライバシ制限シナリオ下での医療タスクにおけるSLM性能を向上させる手法を提案する。 具体的には、医療データからキーワードを抽出し、LLMに医療知識集約的なコンテキストを生成することで、患者のプライバシ問題を緩和する。 本手法は,3つの医療知識集約タスクにおいて,数ショットとフルトレーニングの双方において,パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2023-05-22T05:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。