論文の概要: CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation

• arxiv url: http://arxiv.org/abs/2311.14539v1
• Date: Fri, 24 Nov 2023 15:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 14:47:53.261015
• Title: CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation
• Title（参考訳）: CMed-GPT: エンティティを意識した中国語医療対話生成のためのプロンプトチューニング
• Authors: Zhijie Qu, Juan Li, Zerui Ma, Jianqiang Li
• Abstract要約: CMed-GPT(CMed-GPT)は、中国医学領域のテキストに基づくGPT事前学習言語モデルである。 CMed-GPTに微調整とp調整を併用することにより,PPLを8.44から7.35に低下させた。
• 参考スコア（独自算出の注目度）: 4.904132645270321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical dialogue generation relies on natural language generation techniques to enable online medical consultations. Recently, the widespread adoption of large-scale models in the field of natural language processing has facilitated rapid advancements in this technology. Existing medical dialogue models are mostly based on BERT and pre-trained on English corpora, but there is a lack of high-performing models on the task of Chinese medical dialogue generation. To solve the above problem, this paper proposes CMed-GPT, which is the GPT pre-training language model based on Chinese medical domain text. The model is available in two versions, namely, base and large, with corresponding perplexity values of 8.64 and 8.01. Additionally, we incorporate lexical and entity embeddings into the dialogue text in a uniform manner to meet the requirements of downstream dialogue generation tasks. By applying both fine-tuning and p-tuning to CMed-GPT, we lowered the PPL from 8.44 to 7.35. This study not only confirms the exceptional performance of the CMed-GPT model in generating Chinese biomedical text but also highlights the advantages of p-tuning over traditional fine-tuning with prefix prompts. Furthermore, we validate the significance of incorporating external information in medical dialogue generation, which enhances the quality of dialogue generation.
• Abstract（参考訳）: 医療対話生成は、オンライン医療相談を可能にする自然言語生成技術に依存している。 近年,自然言語処理分野における大規模モデルの普及は,この技術の急速な進歩を促している。 既存の医療対話モデルは、主にBERTに基づいており、英語コーパスで事前訓練されているが、中国の医療対話生成における高いパフォーマンスモデルがない。 そこで本研究では,中国医学領域のテキストに基づくGPT事前学習言語モデルであるCMed-GPTを提案する。 モデルにはベースと大型の2つのバージョンがあり、対応するパープレキシティ値は8.64と8.01である。 さらに,下流対話生成タスクの要件を満たすために,対話テキストに語彙的および実体的埋め込みを統一的に組み込む。 CMed-GPTに微調整とp調整を併用することにより,PPLを8.44から7.35に低下させた。 本研究は,漢文生成におけるCMed-GPTモデルの異常な性能を確認するだけでなく,従来の微調整よりもp-tuningの利点を強調した。 さらに,医療対話生成における外部情報の導入の重要性を検証し,対話生成の質を高める。

関連論文リスト

• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback [19.564416963801268]
  プロセスフィードバックから選好学習というアプローチを提案する。 PLPFは医師の診断ロジックをLSMに統合する。 PLPFは医療会話におけるベースラインモデルの診断精度を17.6%向上させる。
  論文  参考訳（メタデータ） (2024-01-11T06:42:45Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• MedChatZH: a Better Medical Adviser Learns from Better Instructions [11.08819869122466]
  MedChatZHは中国の伝統的な医学的QAに特化して設計された対話モデルである。 我々のモデルは、中国の伝統医学書に事前学習され、慎重に訓練された医学教育データセットで微調整される。 現実世界の医療対話データセットでは、いくつかの確固たるベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-09-03T08:08:15Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Medical Dialogue Generation via Dual Flow Modeling [9.328694317877169]
  医療対話システム(MDS)は、患者に診断や処方薬などの医療サービスを提供することを目的としている。 これまでの研究は主に、上記医療機関を重要な対話履歴情報として抽出することでこの問題に対処した。 本研究は, 医療機関と医師の対話行動の推移を各ターンで捉えることも重要であると論じる。
  論文  参考訳（メタデータ） (2023-05-29T14:23:34Z)
• Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
  混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。 エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。 標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。 代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
  論文  参考訳（メタデータ） (2023-05-06T23:11:25Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• More but Correct: Generating Diversified and Entity-revised Medical Response [20.455550758441483]
  医療対話生成(MDG)は、インテリジェントな相談のための医療対話システムを構築することを目的としている。 本稿では,2021年中国の知識グラフとセマンティックコンピューティングに関するカンファレンスによって組織された,中国のMDGのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T03:03:50Z)
• MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation [86.38736781043109]
  MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。 MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。 実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T03:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。