論文の概要: HuatuoGPT, towards Taming Language Model to Be a Doctor

• arxiv url: http://arxiv.org/abs/2305.15075v1
• Date: Wed, 24 May 2023 11:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 16:06:05.176956
• Title: HuatuoGPT, towards Taming Language Model to Be a Doctor
• Title（参考訳）: HuatuoGPT, 医師になるための言語モデルへの取り組み
• Authors: Hongbo Zhang and Junying Chen and Feng Jiang and Fei Yu and Zhihong Chen and Jianquan Li and Guiming Chen and Xiangbo Wu and Zhiyi Zhang and Qingying Xiao and Xiang Wan and Benyou Wang and Haizhou Li
• Abstract要約: HuatuoGPTは医療相談のための大規模言語モデル(LLM)である。 我々は,ChatGPTのテクティット蒸留データと,教師付き微調整段階の医師のテクティトゥルワールドデータの両方を活用する。
• 参考スコア（独自算出の注目度）: 67.96794664218318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present HuatuoGPT, a large language model (LLM) for medical consultation. The core recipe of HuatuoGPT is to leverage both \textit{distilled data from ChatGPT} and \textit{real-world data from doctors} in the supervised fine-tuned stage. The responses of ChatGPT are usually detailed, well-presented and informative while it cannot perform like a doctor in many aspects, e.g. for integrative diagnosis. We argue that real-world data from doctors would be complementary to distilled data in the sense the former could tame a distilled language model to perform like doctors. To better leverage the strengths of both data, we train a reward model to align the language model with the merits that both data bring, following an RLAIF (reinforced learning from AI feedback) fashion. To evaluate and benchmark the models, we propose a comprehensive evaluation scheme (including automatic and manual metrics). Experimental results demonstrate that HuatuoGPT achieves state-of-the-art results in performing medical consultation among open-source LLMs in GPT-4 evaluation, human evaluation, and medical benchmark datasets. It is worth noting that by using additional real-world data and RLAIF, the distilled language model (i.e., HuatuoGPT) outperforms its teacher model ChatGPT in most cases. Our code, data, and models are publicly available at \url{https://github.com/FreedomIntelligence/HuatuoGPT}. The online demo is available at \url{https://www.HuatuoGPT.cn/}.
• Abstract（参考訳）: 本稿では,医療相談のための大規模言語モデル(LLM)であるHuatuoGPTを提案する。 HuatuoGPTの中核的なレシピは、監督された微調整段階において、ChatGPT} の \textit{distilled データと、医師の \textit{real-world データの両方を活用することである。 ChatGPTの反応は通常、詳細に表現され、情報的であるが、統合的診断など、多くの面で医師のようには実行できない。 我々は、医師による実世界のデータは、前者が医師のように振る舞うために蒸留された言語モデルをテームできるという意味で、蒸留されたデータと相補的であると論じている。 両方のデータの強みをうまく活用するために、私たちは報酬モデルをトレーニングし、RLAIF(AIフィードバックからの強化学習)スタイルに従って、両方のデータがもたらすメリットと言語モデルを整合させる。 モデルの評価とベンチマークを行うため,自動および手動のメトリクスを含む総合的な評価手法を提案する。 実験の結果, huatuogpt は gpt-4 評価, 人的評価, 医療ベンチマークデータセットにおいて, オープンソース llm 間の医療コンサルテーションを行い, 最先端の結果を得ることができた。 追加の現実世界データとRLAIFを使用することで、蒸留言語モデル(HuatuoGPT)は、ほとんどの場合、教師モデルChatGPTよりも優れていることに注意する必要がある。 私たちのコード、データ、モデルは、 \url{https://github.com/FreedomIntelligence/HuatuoGPT}で公開されています。 オンラインデモは \url{https://www.huatuogpt.cn/} で公開されている。

関連論文リスト

• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation [1.922611370494431]
  本研究は,ポルトガル語における医療エージェントとしての大規模言語モデル(LLM)の性能を評価する。 InternLM2モデルは、当初医療データに関するトレーニングを受けており、全体的なパフォーマンスが最高であった。 ChatBodeから派生したDrBodeモデルは、取得した医療知識を壊滅的に忘れる現象を示した。
  論文  参考訳（メタデータ） (2024-09-30T19:10:03Z)
• Efficient Medical Question Answering with Knowledge-Augmented Question Generation [5.145812785735094]
  本稿では,医療領域における小言語モデルの習熟度を2倍のアプローチで向上させる手法を提案する。 まず、医療教科書のコーパスでモデルを微調整する。 そして、GPT-4を用いて、下流タスクに類似した質問を生成し、教科書の知識でトリガーし、モデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-23T14:53:52Z)
• PeFoMed: Parameter Efficient Fine-tuning of Multimodal Large Language Models for Medical Imaging [8.043625583479598]
  MLLM(Multimodal large language model)は、従来の大規模言語モデルの能力の進化的拡張を表す。 近年,MLLMを医療用マルチモーダル問題に対する普遍的解決法として応用する研究が進められている。 本稿では,Med-VQA (Med-VQA) タスクとMRG (Med-VQA) タスクに基づいて,MLLMを微調整するためのパラメータ効率のよいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T13:22:12Z)
• Can ChatGPT be Your Personal Medical Assistant? [0.09264362806173355]
  本研究は,アラビア語によるオンライン質問と回答データセットを用いた。 約430万の質問と20の病種に対する回答がある。 この微調整モデルの性能は, 自動評価と人的評価により評価した。
  論文  参考訳（メタデータ） (2023-12-19T09:54:27Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• The Curse of Recursion: Training on Generated Data Makes Models Forget [70.02793975243212]
  大規模言語モデル(LLM)が存続し、オンラインテキストと画像のエコシステム全体に劇的な変化をもたらすだろう。 トレーニングにおけるモデル生成コンテンツの使用は、元のコンテンツ分布の尾部が消える結果のモデルに不可逆的な欠陥を引き起こす。
  論文  参考訳（メタデータ） (2023-05-27T15:10:41Z)
• Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers [1.0499611180329804]
  医師の偽レビューの拡散は、患者の健康にとって有害な結果をもたらす可能性がある。 本研究は,38048名の医師レビューの事前ラベル付きデータセットを用いて,レビューの分類における大規模言語モデルの有効性を確立する。
  論文  参考訳（メタデータ） (2023-04-19T19:59:26Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。