論文の概要: Polaris: A Safety-focused LLM Constellation Architecture for Healthcare
- arxiv url: http://arxiv.org/abs/2403.13313v1
- Date: Wed, 20 Mar 2024 05:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 17:58:10.469788
- Title: Polaris: A Safety-focused LLM Constellation Architecture for Healthcare
- Title(参考訳): Polaris: 医療のための安全性を重視したLLMコンステレーションアーキテクチャ
- Authors: Subhabrata Mukherjee, Paul Gamble, Markel Sanz Ausin, Neel Kant, Kriti Aggarwal, Neha Manjunath, Debajyoti Datta, Zhengliang Liu, Jiayuan Ding, Sophia Busacca, Cezanne Bianco, Swapnil Sharma, Rae Lasko, Michelle Voisard, Sanchay Harneja, Darya Filippova, Gerry Meixiong, Kevin Cha, Amir Youssefi, Meyhaa Buvanesh, Howard Weingram, Sebastian Bierman-Lytle, Harpreet Singh Mangat, Kim Parikh, Saad Godil, Alex Miller,
- Abstract要約: Polarisは、リアルタイムの患者とAIの医療会話のための、安全に焦点を当てた初めてのLLMコンステレーションだ。
当社のモデルは、プロプライエタリなデータ、臨床ケア計画、医療規制文書、医療マニュアル、その他の医学推論文書に基づいてトレーニングします。
我々は、このシステムのエンドツーエンドの会話評価を行うために、1100人以上の米国免許看護師と130人以上の米国医師を募集した。
- 参考スコア(独自算出の注目度): 17.074456639617996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop Polaris, the first safety-focused LLM constellation for real-time patient-AI healthcare conversations. Unlike prior LLM works in healthcare focusing on tasks like question answering, our work specifically focuses on long multi-turn voice conversations. Our one-trillion parameter constellation system is composed of several multibillion parameter LLMs as co-operative agents: a stateful primary agent that focuses on driving an engaging conversation and several specialist support agents focused on healthcare tasks performed by nurses to increase safety and reduce hallucinations. We develop a sophisticated training protocol for iterative co-training of the agents that optimize for diverse objectives. We train our models on proprietary data, clinical care plans, healthcare regulatory documents, medical manuals, and other medical reasoning documents. We align our models to speak like medical professionals, using organic healthcare conversations and simulated ones between patient actors and experienced nurses. This allows our system to express unique capabilities such as rapport building, trust building, empathy and bedside manner. Finally, we present the first comprehensive clinician evaluation of an LLM system for healthcare. We recruited over 1100 U.S. licensed nurses and over 130 U.S. licensed physicians to perform end-to-end conversational evaluations of our system by posing as patients and rating the system on several measures. We demonstrate Polaris performs on par with human nurses on aggregate across dimensions such as medical safety, clinical readiness, conversational quality, and bedside manner. Additionally, we conduct a challenging task-based evaluation of the individual specialist support agents, where we demonstrate our LLM agents significantly outperform a much larger general-purpose LLM (GPT-4) as well as from its own medium-size class (LLaMA-2 70B).
- Abstract(参考訳): 我々は、患者とAIのリアルタイム医療会話のための、最初の安全に焦点を当てたLLMコンステレーションであるPolarisを開発した。
これまでのLLMでは、質問応答などのタスクに重点を置いていたのに対して、当社では、長いマルチターン音声会話に特化しています。
本システムでは,複数のマルチビリオンパラメータLLMを協調エージェントとして構成し,対話の促進に重点を置くステートフルプライマリエージェントと,看護師が行う医療タスクに重点を置く専門的支援エージェントを用いて,安全性の向上と幻覚の低減を図る。
多様な目的のために最適化されたエージェントの反復的協調訓練のための高度なトレーニングプロトコルを開発する。
当社のモデルは、プロプライエタリなデータ、臨床ケア計画、医療規制文書、医療マニュアル、その他の医学推論文書に基づいてトレーニングします。
当社のモデルは、医療専門家のように話し、オーガニックなヘルスケアの会話を使い、患者アクターと経験豊富な看護師の間でシミュレートする。
これにより、ラプポートビルディング、信頼ビルディング、共感、ベッドサイドマナーといったユニークな機能を表現することができる。
最後に,医療用LLMシステムの総合的臨床評価について紹介する。
私たちは、1100人以上の米国ライセンス看護師と130人以上の米国ライセンスの医師を雇い、患者を装い、いくつかの手段でシステムを評価することで、システムのエンドツーエンドの会話評価を行いました。
医療安全, 臨床準備性, 会話の質, ベッドサイドの仕方など, 人の看護婦と同等に働くことを実証した。
さらに, 個別支援エージェントの課題ベース評価を行い, LLMエージェントは, より大型の汎用LLM(GPT-4)と, 中型クラス(LLaMA-2 70B)を著しく上回っていることを実証した。
関連論文リスト
- AI Hospital: Interactive Evaluation and Collaboration of LLMs as Intern
Doctors for Clinical Diagnosis [72.50974375416239]
リアルタイムのインタラクティブな診断環境を構築するために設計されたフレームワークであるAI Hospitalを紹介する。
様々な大規模言語モデル(LLM)は、対話的診断のためのインターン医師として機能する。
我々は,医療部長の監督の下で,反復的な議論と紛争解決プロセスを含む協調的なメカニズムを導入する。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - From Beginner to Expert: Modeling Medical Knowledge into General LLMs [22.475129648458136]
大規模言語モデル(LLM)に基づく人工知能(AI)システムは、自然言語の理解と生成において顕著な能力を示した。
これらのモデルは、医学的な知識を推論したり、医師のような方法で医学的な疑問に答えたりするといった、繊細な応用に関して重要な課題に直面している。
本研究は、事前訓練された一般LLMモデル(AntGLM-10B)から始まり、医療初心者から医療専門家(AntGLM-Med-10B)に微調整する。
論文 参考訳(メタデータ) (2023-12-02T05:54:06Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Large Language Models Illuminate a Progressive Pathway to Artificial
Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。
本稿では,医学におけるLSMの応用と意義について概説する。
論文 参考訳(メタデータ) (2023-11-03T13:51:36Z) - Talk2Care: Facilitating Asynchronous Patient-Provider Communication with
Large-Language-Model [29.982507402325396]
LLMを利用したコミュニケーションシステムTalk2Careを,高齢者と医療提供者向けに開発した。
高齢者に対しては,音声アシスタント(VA)の利便性とアクセシビリティを活用し,効果的な情報収集のためのLLMを利用したVAインタフェースを構築した。
その結果,Talk2Careはコミュニケーションプロセスを促進し,高齢者の健康情報を充実させ,提供者の努力と時間を著しく節約できることがわかった。
論文 参考訳(メタデータ) (2023-09-17T19:46:03Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - An Automatic Evaluation Framework for Multi-turn Medical Consultations
Capabilities of Large Language Models [22.409334091186995]
大型言語モデル(LLM)はしばしば幻覚に悩まされ、過度に自信があるが誤った判断を下す。
本稿では,マルチターンコンサルテーションにおける仮想医師としてのLCMの実用能力を評価するための自動評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-05T09:24:48Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。