論文の概要: Qibo: A Large Language Model for Traditional Chinese Medicine

• arxiv url: http://arxiv.org/abs/2403.16056v2
• Date: Mon, 17 Jun 2024 18:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 03:55:50.964894
• Title: Qibo: A Large Language Model for Traditional Chinese Medicine
• Title（参考訳）: Qibo: 漢方医学における大規模言語モデル
• Authors: Heyi Zhang, Xin Wang, Zhaopeng Meng, Zhe Chen, Pengwei Zhuang, Yongzhe Jia, Dawei Xu, Wenbin Guo,
• Abstract要約: 伝統的な中国医学(TCM)では、理論と近代医学の根本的な違いのような課題がある。 本研究では,継続的事前学習と教師付き微調整を組み合わせた2段階学習手法を提案する。 本研究の特筆すべき貢献は,TCM専用の2Gbコーパスの処理であり,事前学習および微調整データセットの構築である。
• 参考スコア（独自算出の注目度）: 10.394665777883064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) has made significant progress in a number of professional fields, including medicine, law, and finance. However, in traditional Chinese medicine (TCM), there are challenges such as the essential differences between theory and modern medicine, the lack of specialized corpus resources, and the fact that relying only on supervised fine-tuning may lead to overconfident predictions. To address these challenges, we propose a two-stage training approach that combines continuous pre-training and supervised fine-tuning. A notable contribution of our study is the processing of a 2Gb corpus dedicated to TCM, constructing pre-training and instruction fine-tuning datasets for TCM, respectively. In addition, we have developed Qibo-Benchmark, a tool that evaluates the performance of LLM in the TCM on multiple dimensions, including subjective, objective, and three TCM NLP tasks. The medical LLM trained with our pipeline, named \emph{\textbf{Qibo}}, exhibits significant performance boosts. Compared to the baselines, the average subjective win rate is 63\%, the average objective accuracy improved by 23\% to 58\%, and the Rouge-L scores for the three TCM NLP tasks are 0.72, 0.61, and 0.55. Finally, we propose a pipline to apply Qibo to TCM consultation and demonstrate the model performance through the case study.
• Abstract（参考訳）: LLM(Large Language Models)は、医学、法律、金融など多くの専門分野において大きな進歩を遂げている。 しかし、伝統的な中国医学(TCM)においては、理論と近代医学の本質的な違い、専門的なコーパス資源の欠如、監督された微調整にのみ依存しているという事実は、過度な予測につながる可能性がある。 これらの課題に対処するため,継続的事前学習と教師付き微調整を組み合わせた2段階の訓練手法を提案する。 本研究の特筆すべき貢献は、TCM専用の2Gbコーパスの処理であり、それぞれTCMのための事前学習データセットと命令微調整データセットを構築している。 さらに,主観的,客観的,および3つのTCMNLPタスクを含む,TCMにおけるLLMの性能を評価するツールであるQibo-Benchmarkを開発した。 Emph{\textbf{Qibo}}という名前のパイプラインでトレーニングされた医療用LLMは、大幅なパフォーマンス向上を示します。 ベースラインと比較すると、平均主観的勝利率は63.%、平均目標精度は23.%から58.%向上し、3つのTCM NLPタスクのルージュ-Lスコアは0.72、0.61、0.55である。 最後に,QiboをTCMコンサルテーションに適用するためのピップラインを提案し,ケーススタディを通じてモデル性能を実証する。

関連論文リスト

• Training Compute-Optimal Protein Language Models [48.79416103951816]
  ほとんどのタンパク質言語モデルは、パフォーマンスが高くなるまで広範囲の計算資源で訓練されている。 調査は、9億3900万のタンパク質配列からなる膨大なデータセットに基づいて行われた。 私たちは、350万から107億のパラメータから5から200億のユニークなトークンまで、300以上のモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-11-04T14:58:37Z)
• Enhancing the Traditional Chinese Medicine Capabilities of Large Language Model through Reinforcement Learning from AI Feedback [5.855520522078306]
  従来の漢方医学(TCM)タスクにおいて,少量のデータのみを用いて,大規模言語モデルの性能向上のための枠組みを提案する。 我々は,大規模モデルの教師付き微調整に医療ケースデータを使用し,当初はTCMタスクの実行が可能であった。 さらに、AIフィードバック(RLAIF)からの強化学習を用いてモデルの性能を最適化し、好みデータと整合させる。
  論文  参考訳（メタデータ） (2024-11-01T04:19:55Z)
• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation [1.922611370494431]
  本研究は,ポルトガル語における医療エージェントとしての大規模言語モデル(LLM)の性能を評価する。 InternLM2モデルは、当初医療データに関するトレーニングを受けており、全体的なパフォーマンスが最高であった。 ChatBodeから派生したDrBodeモデルは、取得した医療知識を壊滅的に忘れる現象を示した。
  論文  参考訳（メタデータ） (2024-09-30T19:10:03Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Exploring the Comprehension of ChatGPT in Traditional Chinese Medicine Knowledge [0.0]
  我々は,TCM-QAという問合せデータセットを提示する。これは,1つの選択,複数の選択,真または偽の3つの問合せタイプからなる。 本研究では,LLMの2つの設定,ゼロショットと少数ショットの設定を評価し,英語と中国語のプロンプトの違いを同時に議論した。 以上の結果から,ChatGPTの精度は0.688であり,最も低い精度は0.241であることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T08:20:40Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine [11.537289359051975]
  ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。 そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
  論文  参考訳（メタデータ） (2023-11-03T08:54:50Z)
• Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model [41.11769935795965]
  本稿では,ドメイン固有型連続事前学習(DCPT),スーパーバイザードファインチューニング(SFT),直接選好最適化(DPO)を組み合わせた多段階学習手法を提案する。 CPTとSFTの段階では、Qilin-MedはCMExamテストセットでそれぞれ38.4%と40.0%の精度を達成した。 DPOフェーズでは、BLEU-1で16.66点、Huatuo-26MテストセットでROUGE-1で27.44点を記録し、SFTフェーズ(BLEU-1で12.69点、ROUGE-1で24.21点)をさらに改善した。
  論文  参考訳（メタデータ） (2023-10-13T13:17:03Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。