論文の概要: Superhuman performance of a large language model on the reasoning tasks of a physician

• arxiv url: http://arxiv.org/abs/2412.10849v1
• Date: Sat, 14 Dec 2024 14:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:10.281384
• Title: Superhuman performance of a large language model on the reasoning tasks of a physician
• Title（参考訳）: 医師の推論作業における大規模言語モデルの超人的性能
• Authors: Peter G. Brodeur, Thomas A. Buckley, Zahir Kanjee, Ethan Goh, Evelyn Bin Ling, Priyank Jain, Stephanie Cabral, Raja-Elie Abdulnour, Adrian Haimovich, Jason A. Freed, Andrew Olson, Daniel J. Morgan, Jason Hom, Robert Gallo, Eric Horvitz, Jonathan Chen, Arjun K. Manrai, Adam Rodman,
• Abstract要約: 医療タスクにおける大規模言語モデル(LLM)の性能は、伝統的に複数の選択質問ベンチマークを用いて評価されてきた。 我々はOpenAIのo1-previewモデルを評価する。これは、応答を生成する前に、思考プロセスの連鎖を介して実行時間を向上させるために開発されたモデルである。
• 参考スコア（独自算出の注目度）: 10.043418251604624
• License:
• Abstract: Performance of large language models (LLMs) on medical tasks has traditionally been evaluated using multiple choice question benchmarks. However, such benchmarks are highly constrained, saturated with repeated impressive performance by LLMs, and have an unclear relationship to performance in real clinical scenarios. Clinical reasoning, the process by which physicians employ critical thinking to gather and synthesize clinical data to diagnose and manage medical problems, remains an attractive benchmark for model performance. Prior LLMs have shown promise in outperforming clinicians in routine and complex diagnostic scenarios. We sought to evaluate OpenAI's o1-preview model, a model developed to increase run-time via chain of thought processes prior to generating a response. We characterize the performance of o1-preview with five experiments including differential diagnosis generation, display of diagnostic reasoning, triage differential diagnosis, probabilistic reasoning, and management reasoning, adjudicated by physician experts with validated psychometrics. Our primary outcome was comparison of the o1-preview output to identical prior experiments that have historical human controls and benchmarks of previous LLMs. Significant improvements were observed with differential diagnosis generation and quality of diagnostic and management reasoning. No improvements were observed with probabilistic reasoning or triage differential diagnosis. This study highlights o1-preview's ability to perform strongly on tasks that require complex critical thinking such as diagnosis and management while its performance on probabilistic reasoning tasks was similar to past models. New robust benchmarks and scalable evaluation of LLM capabilities compared to human physicians are needed along with trials evaluating AI in real clinical settings.
• Abstract（参考訳）: 医療タスクにおける大規模言語モデル(LLM)の性能は、伝統的に複数の選択質問ベンチマークを用いて評価されてきた。 しかし、これらのベンチマークは非常に制約があり、LSMによる繰り返しの印象的な性能に飽和しており、実際の臨床シナリオにおけるパフォーマンスと不明瞭な関係がある。 臨床理由づけは、医師が臨床データを収集・合成して医学的問題を診断・管理するために批判的思考を用いるプロセスであり、モデルパフォーマンスの魅力的なベンチマークである。 以前のLSMでは、日常的および複雑な診断シナリオにおいて、優れた臨床医に期待が持たれている。 そこで我々は,OpenAIのo1-previewモデルを評価することを試みた。 本研究は, 鑑別診断生成, 診断推論の表示, トリアージ差分診断, 確率的推論, 管理推論の5つの実験により, 評価された精神測定値の専門医による評価を行った。 我々の最初の成果は、過去のLLMの人体制御とベンチマークを持つ同じ実験と、o1-preview出力の比較であった。 鑑別診断生成と診断・管理の質に有意な改善が認められた。 確率的推論やトリアージ鑑別診断では改善は認められなかった。 本研究は,従来のモデルと類似した確率論的推論タスクにおいて,診断や管理などの複雑な批判的思考を必要とするタスクに対して,o1-previewが強く機能する能力を強調した。 人間の医師と比較して、新しい堅牢なベンチマークとスケーラブルなLLM能力の評価と、実際の臨床環境でAIを評価するための試行が必要である。

関連論文リスト

• SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
  大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。 内科的知識を活用しててててんかんの診断を行う技術について検討した。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Worse than Random? An Embarrassingly Simple Probing Evaluation of Large Multimodal Models in Medical VQA [24.10436440624249]
  大規模マルチモーダルモデル(LMM)は医療用視覚質問応答(Med-VQA)において顕著な進歩を示した 本研究は, 簡易な探索評価を行う場合, 医学的診断問題に対するランダムな推測よりも, 最先端のモデルの方が悪いことを明らかにした。
  論文  参考訳（メタデータ） (2024-05-30T18:56:01Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Beyond Direct Diagnosis: LLM-based Multi-Specialist Agent Consultation for Automatic Diagnosis [30.943705201552643]
  本研究では,潜在的な疾患に対するエージェントの確率分布を適応的に融合させることにより,現実世界の診断過程をモデル化する枠組みを提案する。 提案手法では,パラメータ更新とトレーニング時間を大幅に短縮し,効率と実用性を向上する。
  論文  参考訳（メタデータ） (2024-01-29T12:25:30Z)
• A Foundational Framework and Methodology for Personalized Early and Timely Diagnosis [84.6348989654916]
  本稿では,早期診断とタイムリー診断のための基礎的枠組みを提案する。 診断過程を概説する決定論的アプローチに基づいている。 機械学習と統計手法を統合し、最適なパーソナライズされた診断経路を推定する。
  論文  参考訳（メタデータ） (2023-11-26T14:42:31Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)
• DR.BENCH: Diagnostic Reasoning Benchmark for Clinical Natural Language Processing [5.022185333260402]
  診断推論ベンチマーク(DR.BENCH)は臨床診断推論能力を持つcNLPモデルの開発と評価のための新しいベンチマークである。 DR.BENCHは、訓練済みの言語モデルを評価するための自然言語生成フレームワークとして設計された最初の臨床スイートである。
  論文  参考訳（メタデータ） (2022-09-29T16:05:53Z)
• Scalable Online Disease Diagnosis via Multi-Model-Fused Actor-Critic Reinforcement Learning [9.274138493400436]
  医療のアドバイスをオンラインで求めている人にとっては、患者と対話して自動的に疾患を診断できるAIベースの対話エージェントが有効な選択肢だ。 これは、強化学習(RL)アプローチを自然解として提案した逐次的特徴(症状)選択と分類の問題として定式化することができる。 生成的アクターネットワークと診断批評家ネットワークから構成されるMMF-AC(Multi-Model-Fused Actor-Critic)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T03:06:16Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Hemogram Data as a Tool for Decision-making in COVID-19 Management: Applications to Resource Scarcity Scenarios [62.997667081978825]
  新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。 本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。 提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
  論文  参考訳（メタデータ） (2020-05-10T01:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。