論文の概要: Qibo: A Large Language Model for Traditional Chinese Medicine

• arxiv url: http://arxiv.org/abs/2403.16056v1
• Date: Sun, 24 Mar 2024 07:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:45:32.018841
• Title: Qibo: A Large Language Model for Traditional Chinese Medicine
• Title（参考訳）: Qibo: 漢方医学における大規模言語モデル
• Authors: Heyi Zhang, Xin Wang, Zhaopeng Meng, Yongzhe Jia, Dawei Xu,
• Abstract要約: 我々は,TCM理論の特徴となる専門知識を持つ大規模モデルを実現するため,TCMの分野におけるプロフェッショナルコーパスの構築と組織化を目指している。 LLaMAをベースとしたQiboモデルも開発しています。これはTCMの分野において、事前トレーニングから監督ファインチューニング(SFT)までの完全なトレーニングプロセスを実行する最初のLLMです。
• 参考スコア（独自算出の注目度）: 8.880218477651418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of Artificial Intelligence, Large Language Models (LLMs) have demonstrated significant advances in user intent understanding and response in a number of specialized domains, including medicine, law, and finance. However, in the unique domain of traditional Chinese medicine (TCM), the performance enhancement of LLMs is challenged by the essential differences between its theories and modern medicine, as well as the lack of specialized corpus resources. In this paper, we aim to construct and organize a professional corpus in the field of TCM, to endow the large model with professional knowledge that is characteristic of TCM theory, and to successfully develop the Qibo model based on LLaMA, which is the first LLM in the field of TCM to undergo a complete training process from pre-training to Supervised Fine-Tuning (SFT). Furthermore, we develop the Qibo-benchmark, a specialized tool for evaluating the performance of LLMs, which is a specialized tool for evaluating the performance of LLMs in the TCM domain. This tool will provide an important basis for quantifying and comparing the understanding and application capabilities of different models in the field of traditional Chinese medicine, and provide guidance for future research directions and practical applications of intelligent assistants for traditional Chinese medicine. Finally, we conducted sufficient experiments to prove that Qibo has good performance in the field of traditional Chinese medicine.
• Abstract（参考訳）: 人工知能の分野では、Large Language Models (LLMs) は、医学、法律、金融など、多くの専門分野において、ユーザ意図の理解と応答において大きな進歩を見せている。 しかし、伝統的な漢方医学(TCM)の独自の領域においては、その理論と近代医学の本質的な違いや専門的なコーパス資源の欠如により、LCMの性能向上が課題となっている。 本稿では,TCMの分野におけるプロフェッショナルコーパスの構築と組織化をめざし,TCM理論の特徴である専門知識を持つ大規模モデルの実現と,事前学習から監視ファインチューニング(SFT)までの完全なトレーニングプロセスを実現するための,TCM分野における最初のLLMであるLLaMAに基づくQiboモデルの開発を成功させる。 さらに,本研究では,TLMの性能評価ツールであるQibo-benchmarkを開発した。 本ツールは、漢方医学分野における各種モデルの理解と応用能力の定量化と比較のための重要な基盤を提供するとともに、今後の研究方向や、中国伝統医学におけるインテリジェントアシスタントの実践的応用に関するガイダンスを提供する。 最後に,Qiboが漢方医学の分野で優れていることを示す十分な実験を行った。

関連論文リスト

• BianCang: A Traditional Chinese Medicine Large Language Model [22.582027277167047]
  BianCangはTCM固有の大規模言語モデル(LLM)で、まずドメイン固有の知識を注入し、目標とする刺激によって調整する。 実際の病院記録に基づく事前学習コーパス,ChP-TCMデータセット,および中華人民共和国の薬局類由来のChP-TCMデータセットを構築した。 我々は,TCMの理解を深めるための包括的なデータセットを構築し,連続的な事前学習と微調整のための広範囲なTCMと医療コーパスを収集した。
  論文  参考訳（メタデータ） (2024-11-17T10:17:01Z)
• Training Compute-Optimal Protein Language Models [48.79416103951816]
  ほとんどのタンパク質言語モデルは、パフォーマンスが高くなるまで広範囲の計算資源で訓練されている。 調査は、9億3900万のタンパク質配列からなる膨大なデータセットに基づいて行われた。 私たちは、350万から107億のパラメータから5から200億のユニークなトークンまで、300以上のモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-11-04T14:58:37Z)
• Enhancing the Traditional Chinese Medicine Capabilities of Large Language Model through Reinforcement Learning from AI Feedback [5.855520522078306]
  従来の漢方医学(TCM)タスクにおいて,少量のデータのみを用いて,大規模言語モデルの性能向上のための枠組みを提案する。 我々は,大規模モデルの教師付き微調整に医療ケースデータを使用し,当初はTCMタスクの実行が可能であった。 さらに、AIフィードバック(RLAIF)からの強化学習を用いてモデルの性能を最適化し、好みデータと整合させる。
  論文  参考訳（メタデータ） (2024-11-01T04:19:55Z)
• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Exploring the Comprehension of ChatGPT in Traditional Chinese Medicine Knowledge [0.0]
  我々は,TCM-QAという問合せデータセットを提示する。これは,1つの選択,複数の選択,真または偽の3つの問合せタイプからなる。 本研究では,LLMの2つの設定,ゼロショットと少数ショットの設定を評価し,英語と中国語のプロンプトの違いを同時に議論した。 以上の結果から,ChatGPTの精度は0.688であり,最も低い精度は0.241であることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T08:20:40Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine [11.537289359051975]
  ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。 そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
  論文  参考訳（メタデータ） (2023-11-03T08:54:50Z)
• Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model [41.11769935795965]
  本稿では,ドメイン固有型連続事前学習(DCPT),スーパーバイザードファインチューニング(SFT),直接選好最適化(DPO)を組み合わせた多段階学習手法を提案する。 CPTとSFTの段階では、Qilin-MedはCMExamテストセットでそれぞれ38.4%と40.0%の精度を達成した。 DPOフェーズでは、BLEU-1で16.66点、Huatuo-26MテストセットでROUGE-1で27.44点を記録し、SFTフェーズ(BLEU-1で12.69点、ROUGE-1で24.21点)をさらに改善した。
  論文  参考訳（メタデータ） (2023-10-13T13:17:03Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。