Fugu-MT 論文翻訳(概要): PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

論文の概要: PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

arxiv url: http://arxiv.org/abs/2405.19266v1
Date: Wed, 29 May 2024 16:59:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 16:12:12.364186
Title: PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications
Title（参考訳）: 小児科GPT:中国における小児科用医療アシスタントとしての大規模言語モデル
Authors: Dingkang Yang, Jinjie Wei, Dongling Xiao, Shunli Wang, Tong Wu, Gang Li, Mingcheng Li, Shuaibing Wang, Jiawei Chen, Yue Jiang, Qingyao Xu, Ke Li, Peng Zhai, Lihua Zhang,
Abstract要約: PedCorpusは、小児科の教科書、ガイドライン、知識グラフリソースから30万以上のマルチタスク・インストラクションを収集し、多様な診断要求を満たすための高品質なデータセットである。 PedCorpusを十分に設計した上で,系統的かつ堅牢なトレーニングパイプライン上に構築された,中国初の小児 LLM アシスタントであるPediatricsGPT を提案する。
参考スコア（独自算出の注目度）: 22.175201525690493
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Developing intelligent pediatric consultation systems offers promising prospects for improving diagnostic efficiency, especially in China, where healthcare resources are scarce. Despite recent advances in Large Language Models (LLMs) for Chinese medicine, their performance is sub-optimal in pediatric applications due to inadequate instruction data and vulnerable training procedures. To address the above issues, this paper builds PedCorpus, a high-quality dataset of over 300,000 multi-task instructions from pediatric textbooks, guidelines, and knowledge graph resources to fulfil diverse diagnostic demands. Upon well-designed PedCorpus, we propose PediatricsGPT, the first Chinese pediatric LLM assistant built on a systematic and robust training pipeline. In the continuous pre-training phase, we introduce a hybrid instruction pre-training mechanism to mitigate the internal-injected knowledge inconsistency of LLMs for medical domain adaptation. Immediately, the full-parameter Supervised Fine-Tuning (SFT) is utilized to incorporate the general medical knowledge schema into the models. After that, we devise a direct following preference optimization to enhance the generation of pediatrician-like humanistic responses. In the parameter-efficient secondary SFT phase, a mixture of universal-specific experts strategy is presented to resolve the competency conflict between medical generalist and pediatric expertise mastery. Extensive results based on the metrics, GPT-4, and doctor evaluations on distinct doctor downstream tasks show that PediatricsGPT consistently outperforms previous Chinese medical LLMs. Our model and dataset will be open-source for community development.
Abstract（参考訳）: インテリジェントな小児相談システムの開発は、特に医療資源が乏しい中国では、診断効率を改善するための有望な見通しを提供する。漢方医学におけるLarge Language Models (LLMs) の最近の進歩にもかかわらず, 教育データ不足や訓練方法の脆弱さにより, 小児科領域での性能は準最適である。以上の課題に対処するため,本論文では,小児科の教科書,ガイドライン,知識グラフリソースから得られた30,000以上のマルチタスク・インストラクションの高品質データセットであるPedCorpusを構築し,多様な診断要求を満たす。 PedCorpusを十分に設計した上で,系統的かつ堅牢なトレーニングパイプライン上に構築された,中国初の小児 LLM アシスタントであるPediatricsGPT を提案する。医用領域適応のための LLM の内部注入型知識の不整合を緩和するためのハイブリッド・インストラクション・プレトレーニング・メカニズムを導入する。即時、フルパラメータ・スーパービジョン・ファインチューニング(SFT)を使用して、一般的な医療知識スキーマをモデルに組み込む。その後、小児科のような人文主義的反応の生成を促進するために、直接追従選好最適化を考案した。パラメータ効率のよい二次SFTフェーズでは、医務総長と小児専門職との能力衝突を解決するために、普遍的な専門家戦略の混合が提示される。測定値, GPT-4, 医師の評価結果から, ペディアトリスGPTは旧来の中国医学LLMより一貫して優れていたことが示唆された。私たちのモデルとデータセットは、コミュニティ開発のためにオープンソースになります。

関連論文リスト

A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations [5.265452667976959]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて驚くべきパフォーマンスを示している。本調査は,一般のLSMをベースとした医療用LSMの訓練方法について,体系的に検討する。
論文参考訳（メタデータ） (2024-06-14T02:42:20Z)
MedKP: Medical Dialogue with Knowledge Enhancement and Clinical Pathway Encoding [48.348511646407026]
本稿では,知識向上と臨床パスウェイ符号化フレームワークを用いた医療対話について紹介する。このフレームワークは、医療知識グラフを介して外部知識増強モジュールと、医療機関および医師の行動を介して、内部臨床経路をコードする。
論文参考訳（メタデータ） (2024-03-11T10:57:45Z)
AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文参考訳（メタデータ） (2024-02-15T06:46:48Z)
Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文参考訳（メタデータ） (2024-02-05T08:25:22Z)
Generative Large Language Models are autonomous practitioners of evidence-based medicine [27.229179922424063]
EBM(エビデンス・ベース・メディカル)は、臨床医学の基礎であり、臨床医が継続的に知識を更新し、患者医療に最良の臨床証拠を適用する必要がある。 EBMの実践は、医学研究の急速な進歩による課題に直面し、臨床医に情報過負荷をもたらす。人工知能(AI)の統合、特にジェネレーティブ・大型言語モデル(LLM)は、この複雑さを管理するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2024-01-05T15:09:57Z)
ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文参考訳（メタデータ） (2023-11-10T12:25:32Z)
Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。本稿では,医学におけるLSMの応用と意義について概説する。
論文参考訳（メタデータ） (2023-11-03T13:51:36Z)
Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue [4.558040877516838]
我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
論文参考訳（メタデータ） (2023-08-07T12:56:13Z)
Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-04-26T01:26:19Z)
Self-Supervised Knowledge Assimilation for Expert-Layman Text Style Transfer [63.72621204057025]
エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
論文参考訳（メタデータ） (2021-10-06T17:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。