論文の概要: Integrating Physician Diagnostic Logic into Large Language Models:
Preference Learning from Process Feedback
- arxiv url: http://arxiv.org/abs/2401.05695v1
- Date: Thu, 11 Jan 2024 06:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 19:33:54.776187
- Title: Integrating Physician Diagnostic Logic into Large Language Models:
Preference Learning from Process Feedback
- Title(参考訳): 医師の診断ロジックを大規模言語モデルに統合する:プロセスフィードバックによる選好学習
- Authors: Chengfeng Dou, Zhi Jin, Wenpin Jiao, Haiyan Zhao, Yongqiang Zhao,
Zhenwei Tao
- Abstract要約: プロセスフィードバックから選好学習というアプローチを提案する。
PLPFは医師の診断ロジックをLSMに統合する。
PLPFは医療会話におけるベースラインモデルの診断精度を17.6%向上させる。
- 参考スコア(独自算出の注目度): 20.73076574974894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of large language models in medical dialogue generation has garnered
significant attention, with a focus on improving response quality and fluency.
While previous studies have made progress in optimizing model performance for
single-round medical Q&A tasks, there is a need to enhance the model's
capability for multi-round conversations to avoid logical inconsistencies. To
address this, we propose an approach called preference learning from process
feedback~(PLPF), which integrates the doctor's diagnostic logic into LLMs. PLPF
involves rule modeling, preference data generation, and preference alignment to
train the model to adhere to the diagnostic process. Experimental results using
Standardized Patient Testing show that PLPF enhances the diagnostic accuracy of
the baseline model in medical conversations by 17.6%, outperforming traditional
reinforcement learning from human feedback. Additionally, PLPF demonstrates
effectiveness in both multi-round and single-round dialogue tasks, showcasing
its potential for improving medical dialogue generation.
- Abstract(参考訳): 医学的対話生成における大規模言語モデルの使用は、応答品質とフラレンシーの向上に焦点をあて、大きな注目を集めている。
従来,シングルラウンド医療Q&Aタスクにおけるモデル性能の最適化は進展してきたが,論理的矛盾を回避するために,マルチラウンド会話におけるモデル性能の向上が必要である。
そこで本研究では,医師の診断ロジックをllmに統合したプロセスフィードバックから選好学習(plpf)と呼ばれるアプローチを提案する。
PLPFは、ルールモデリング、嗜好データ生成、そして診断プロセスに準拠するようにモデルをトレーニングするための嗜好アライメントを含む。
標準化された患者テストを用いた実験の結果、plpfは医療会話におけるベースラインモデルの診断精度を17.6%向上させ、従来の人間フィードバックによる強化学習を上回った。
さらにplpfはマルチラウンド対話タスクとシングルラウンド対話タスクの両方において有効性を示し、医療対話生成を改善する可能性を示している。
関連論文リスト
- OncoGPT: A Medical Conversational Model Tailored with Oncology Domain
Expertise on a Large Language Model Meta-AI (LLaMA) [6.486978719354015]
オンコロジー関連のクエリに特化して、LLM(Large Language Models)の研究が限られている。
オンコロジーを中心としたオンライン質問応答の広範なデータ収集を行った。
実際の患者の質問に対するモデルの理解が大幅に向上するのを観察した。
論文 参考訳(メタデータ) (2024-02-26T18:33:13Z) - AI Hospital: Interactive Evaluation and Collaboration of LLMs as Intern
Doctors for Clinical Diagnosis [72.50974375416239]
リアルタイムのインタラクティブな診断環境を構築するために設計されたフレームワークであるAI Hospitalを紹介する。
様々な大規模言語モデル(LLM)は、対話的診断のためのインターン医師として機能する。
我々は,医療部長の監督の下で,反復的な議論と紛争解決プロセスを含む協調的なメカニズムを導入する。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - PlugMed: Improving Specificity in Patient-Centered Medical Dialogue
Generation using In-Context Learning [20.437165038293426]
患者中心の医療対話システムは、医療知識に乏しいユーザーに診断解釈サービスを提供しようとしている。
大きな言語モデル(LLM)では、期待できる性能にもかかわらず応答の特異性を保証することは困難である。
In-context Learning に触発されて,プラグイン・アンド・プレイ医療対話システム PlugMed を提案する。
論文 参考訳(メタデータ) (2023-05-19T08:18:24Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - DR.BENCH: Diagnostic Reasoning Benchmark for Clinical Natural Language
Processing [5.022185333260402]
診断推論ベンチマーク(DR.BENCH)は臨床診断推論能力を持つcNLPモデルの開発と評価のための新しいベンチマークである。
DR.BENCHは、訓練済みの言語モデルを評価するための自然言語生成フレームワークとして設計された最初の臨床スイートである。
論文 参考訳(メタデータ) (2022-09-29T16:05:53Z) - An Evaluation of Generative Pre-Training Model-based Therapy Chatbot for
Caregivers [5.2116528363639985]
OpenAI GPTモデルのような生成ベースのアプローチは、治療コンテキストにおけるよりダイナミックな会話を可能にする。
我々は, GPT-2モデルを用いてチャットボットを構築し, 認知症患者の家族介護者と問題解決療法を行うセラピストの間で306回の治療セッションの転写を微調整した。
その結果、微調整されたモデルでは、事前訓練されたモデルよりも単語以外の出力が生成されることがわかった。
論文 参考訳(メタデータ) (2021-07-28T01:01:08Z) - Learning ULMFiT and Self-Distillation with Calibration for Medical
Dialogue System [2.055949720959582]
近年,最先端のディープラーニングモデルや伝達学習技術の導入は,NLPタスクの性能向上に寄与している。
一部のディープニューラルネットワークはキャリブレーションが不十分であり、不確実性を誤って見積もっている。
本稿では,医用対話システムにおけるULMFiTと自己蒸留の校正モデルについて検討する。
論文 参考訳(メタデータ) (2021-07-20T17:11:24Z) - Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。
医療対話生成のためのエンドツーエンドの変分推論手法を提案する。
行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
論文 参考訳(メタデータ) (2021-05-13T04:14:35Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware
Medical Dialogue Generation [86.38736781043109]
MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。
MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。
実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T03:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。