論文の概要: Qibo: A Large Language Model for Traditional Chinese Medicine
- arxiv url: http://arxiv.org/abs/2403.16056v1
- Date: Sun, 24 Mar 2024 07:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:45:32.018841
- Title: Qibo: A Large Language Model for Traditional Chinese Medicine
- Title(参考訳): Qibo: 漢方医学における大規模言語モデル
- Authors: Heyi Zhang, Xin Wang, Zhaopeng Meng, Yongzhe Jia, Dawei Xu,
- Abstract要約: 我々は,TCM理論の特徴となる専門知識を持つ大規模モデルを実現するため,TCMの分野におけるプロフェッショナルコーパスの構築と組織化を目指している。
LLaMAをベースとしたQiboモデルも開発しています。これはTCMの分野において、事前トレーニングから監督ファインチューニング(SFT)までの完全なトレーニングプロセスを実行する最初のLLMです。
- 参考スコア(独自算出の注目度): 8.880218477651418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of Artificial Intelligence, Large Language Models (LLMs) have demonstrated significant advances in user intent understanding and response in a number of specialized domains, including medicine, law, and finance. However, in the unique domain of traditional Chinese medicine (TCM), the performance enhancement of LLMs is challenged by the essential differences between its theories and modern medicine, as well as the lack of specialized corpus resources. In this paper, we aim to construct and organize a professional corpus in the field of TCM, to endow the large model with professional knowledge that is characteristic of TCM theory, and to successfully develop the Qibo model based on LLaMA, which is the first LLM in the field of TCM to undergo a complete training process from pre-training to Supervised Fine-Tuning (SFT). Furthermore, we develop the Qibo-benchmark, a specialized tool for evaluating the performance of LLMs, which is a specialized tool for evaluating the performance of LLMs in the TCM domain. This tool will provide an important basis for quantifying and comparing the understanding and application capabilities of different models in the field of traditional Chinese medicine, and provide guidance for future research directions and practical applications of intelligent assistants for traditional Chinese medicine. Finally, we conducted sufficient experiments to prove that Qibo has good performance in the field of traditional Chinese medicine.
- Abstract(参考訳): 人工知能の分野では、Large Language Models (LLMs) は、医学、法律、金融など、多くの専門分野において、ユーザ意図の理解と応答において大きな進歩を見せている。
しかし、伝統的な漢方医学(TCM)の独自の領域においては、その理論と近代医学の本質的な違いや専門的なコーパス資源の欠如により、LCMの性能向上が課題となっている。
本稿では,TCMの分野におけるプロフェッショナルコーパスの構築と組織化をめざし,TCM理論の特徴である専門知識を持つ大規模モデルの実現と,事前学習から監視ファインチューニング(SFT)までの完全なトレーニングプロセスを実現するための,TCM分野における最初のLLMであるLLaMAに基づくQiboモデルの開発を成功させる。
さらに,本研究では,TLMの性能評価ツールであるQibo-benchmarkを開発した。
本ツールは、漢方医学分野における各種モデルの理解と応用能力の定量化と比較のための重要な基盤を提供するとともに、今後の研究方向や、中国伝統医学におけるインテリジェントアシスタントの実践的応用に関するガイダンスを提供する。
最後に,Qiboが漢方医学の分野で優れていることを示す十分な実験を行った。
関連論文リスト
- FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models [64.11333762954283]
本稿では,中国のLLMの基本知識能力を厳格に評価するための先駆的ベンチマークであるFoundaBenchを紹介する。
本稿では、従来の評価手法とCircularEvalプロトコルの両方を用いて、モデル応答の潜在的なバイアスを軽減するため、FoundaBenchを用いた12の最先端LCMの広範な評価を行う。
以上の結果から,中国のコーパスで事前学習したモデルの性能が向上し,モデル推論とメモリリコール能力の相違が明らかとなった。
論文 参考訳(メタデータ) (2024-04-29T01:49:07Z) - MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large
Language Models [56.36916128631784]
中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。
このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。
幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
論文 参考訳(メタデータ) (2023-12-20T07:01:49Z) - GPT-doctor: Customizing Large Language Models for Medical Consultation [5.532457801941222]
本稿では,Large Language Models (LLM) を一般的なビジネスコンテキストにカスタマイズするための新しいフレームワークを提案する。
LLMにおけるドメイン固有理論とスーパービジョンファインチューニング(SFT)を組み合わせる手法を設計する。
提案するフレームワークを医療相談の文脈でインスタンス化し,GPT-doctorモデルを作成する。
論文 参考訳(メタデータ) (2023-12-15T21:42:19Z) - HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [62.73042700847977]
HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。
さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
論文 参考訳(メタデータ) (2023-11-16T10:56:24Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - TCM-GPT: Efficient Pre-training of Large Language Models for Domain
Adaptation in Traditional Chinese Medicine [11.537289359051975]
ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。
具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。
そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
論文 参考訳(メタデータ) (2023-11-03T08:54:50Z) - PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。
我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
論文 参考訳(メタデータ) (2023-10-22T02:20:38Z) - CMB: A Comprehensive Medical Benchmark in Chinese [67.69800156990952]
そこで我々は,中国語の包括的医療ベンチマークであるCMB(Comprehensive Medical Benchmark)を提案する。
伝統的な中国医学はこの評価に欠かせないものであるが、全体としては成り立たない。
われわれは,ChatGPT,GPT-4,中国専用LSM,医療分野に特化したLSMなど,いくつかの大規模LSMを評価した。
論文 参考訳(メタデータ) (2023-08-17T07:51:23Z) - Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue [4.558040877516838]
我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。
我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
論文 参考訳(メタデータ) (2023-08-07T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。