論文の概要: IvyGPT: InteractiVe Chinese pathwaY language model in medical domain

• arxiv url: http://arxiv.org/abs/2307.10512v1
• Date: Thu, 20 Jul 2023 01:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:07:40.377950
• Title: IvyGPT: InteractiVe Chinese pathwaY language model in medical domain
• Title（参考訳）: IvyGPT : 医療領域における中国語パスウェイ言語モデル
• Authors: Rongsheng Wang and Yaofei Duan and ChanTong Lam and Jiexi Chen and Jiangsheng Xu and Haoming Chen and Xiaohong Liu and Patrick Cheong-Iao Pang and Tao Tan
• Abstract要約: ChatGPTのような一般的な大規模言語モデル(LLM)は顕著な成功を収めている。 LLaMAをベースとしたLLMであるIvyGPTを提案する。 トレーニングでは、QLoRAを使用して、少数のNVIDIA A100(80GB)上で33億のパラメータをトレーニングしました。 実験の結果、IvyGPTは他の医療用GPTモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 7.5386393444603454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General large language models (LLMs) such as ChatGPT have shown remarkable success. However, such LLMs have not been widely adopted for medical purposes, due to poor accuracy and inability to provide medical advice. We propose IvyGPT, an LLM based on LLaMA that is trained and fine-tuned with high-quality medical question-answer (QA) instances and Reinforcement Learning from Human Feedback (RLHF). After supervised fine-tuning, IvyGPT has good multi-turn conversation capabilities, but it cannot perform like a doctor in other aspects, such as comprehensive diagnosis. Through RLHF, IvyGPT can output richer diagnosis and treatment answers that are closer to human. In the training, we used QLoRA to train 33 billion parameters on a small number of NVIDIA A100 (80GB) GPUs. Experimental results show that IvyGPT has outperformed other medical GPT models.
• Abstract（参考訳）: ChatGPTのような一般的な大規模言語モデル(LLM)は顕著な成功を収めている。 しかし、これらのLSMは、精度が低く、医療アドバイスができないため、医学的に広く採用されていない。 我々は、高品質なQA(QA)インスタンスとRLHF(Reinforcement Learning from Human Feedback)インスタンスで訓練および微調整を行うLLaMAに基づくLLMであるIvyGPTを提案する。 教師付き微調整の後、IvyGPTは多ターン会話能力に優れるが、包括的診断など他の面では医師のようには機能しない。 RLHFを通じて、IvyGPTは人間に近いリッチな診断と治療の回答を出力することができる。 トレーニングでは、QLoRAを使用して、少数のNVIDIA A100 (80GB) GPU上で33億のパラメータをトレーニングしました。 実験の結果、IvyGPTは他の医療用GPTモデルよりも優れていた。

関連論文リスト

• MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering [8.110978727364397]
  大規模言語モデル(LLM)は、人工知能技術の発展を促進する可能性を秘めている。 本稿では,MedExpQAについて述べる。MedExpQAは,医学質問応答におけるLSMを評価するための,医学試験に基づく最初の多言語ベンチマークである。
  論文  参考訳（メタデータ） (2024-04-08T15:03:57Z)
• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024) [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• HuatuoGPT, towards Taming Language Model to Be a Doctor [67.96794664218318]
  HuatuoGPTは医療相談のための大規模言語モデル(LLM)である。 我々は,ChatGPTのテクティット蒸留データと,教師付き微調整段階の医師のテクティトゥルワールドデータの両方を活用する。
  論文  参考訳（メタデータ） (2023-05-24T11:56:01Z)
• Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries [48.48630043740588]
  ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。 我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-05-17T12:31:26Z)
• DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task [44.21600465230548]
  大きな言語モデル (LLM) は一般的に英語でより良く機能し、医学領域のために明示的に訓練されていない。 我々は、ChatGPTの助けを借りて中国語の医療対話のデータベースを収集し、容易に展開可能なLSMを訓練するためのいくつかの手法を採用した。 DoctorGLMは現在、アーリーステージのエンジニアリングの試みであり、様々な誤りを含んでいる。
  論文  参考訳（メタデータ） (2023-04-03T15:57:51Z)
• Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics [9.167699167689369]
  本稿では,放射線オンコロジー物理の分野におけるLSMの評価について述べる。 我々は放射線オンコロジー物理100問からなる試験を開発した。 ChatGPT (GPT-3.5), ChatGPT (GPT-4), Bard (LaMDA), BLOOMZは, 医師や非専門家に対して評価された。
  論文  参考訳（メタデータ） (2023-04-01T06:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。