論文の概要: Superhuman performance of a large language model on the reasoning tasks of a physician

• arxiv url: http://arxiv.org/abs/2412.10849v1
• Date: Sat, 14 Dec 2024 14:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 15:49:59.849425
• Title: Superhuman performance of a large language model on the reasoning tasks of a physician
• Title（参考訳）: 医師の推論作業における大規模言語モデルの超人的性能
• Authors: Peter G. Brodeur, Thomas A. Buckley, Zahir Kanjee, Ethan Goh, Evelyn Bin Ling, Priyank Jain, Stephanie Cabral, Raja-Elie Abdulnour, Adrian Haimovich, Jason A. Freed, Andrew Olson, Daniel J. Morgan, Jason Hom, Robert Gallo, Eric Horvitz, Jonathan Chen, Arjun K. Manrai, Adam Rodman,
• Abstract要約: 医療タスクにおける大規模言語モデル(LLM)の性能は、伝統的に複数の選択質問ベンチマークを用いて評価されてきた。 我々はOpenAIのo1-previewモデルを評価する。これは、応答を生成する前に、思考プロセスの連鎖を介して実行時間を向上させるために開発されたモデルである。
• 参考スコア（独自算出の注目度）: 10.043418251604624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance of large language models (LLMs) on medical tasks has traditionally been evaluated using multiple choice question benchmarks. However, such benchmarks are highly constrained, saturated with repeated impressive performance by LLMs, and have an unclear relationship to performance in real clinical scenarios. Clinical reasoning, the process by which physicians employ critical thinking to gather and synthesize clinical data to diagnose and manage medical problems, remains an attractive benchmark for model performance. Prior LLMs have shown promise in outperforming clinicians in routine and complex diagnostic scenarios. We sought to evaluate OpenAI's o1-preview model, a model developed to increase run-time via chain of thought processes prior to generating a response. We characterize the performance of o1-preview with five experiments including differential diagnosis generation, display of diagnostic reasoning, triage differential diagnosis, probabilistic reasoning, and management reasoning, adjudicated by physician experts with validated psychometrics. Our primary outcome was comparison of the o1-preview output to identical prior experiments that have historical human controls and benchmarks of previous LLMs. Significant improvements were observed with differential diagnosis generation and quality of diagnostic and management reasoning. No improvements were observed with probabilistic reasoning or triage differential diagnosis. This study highlights o1-preview's ability to perform strongly on tasks that require complex critical thinking such as diagnosis and management while its performance on probabilistic reasoning tasks was similar to past models. New robust benchmarks and scalable evaluation of LLM capabilities compared to human physicians are needed along with trials evaluating AI in real clinical settings.
• Abstract（参考訳）: 医療タスクにおける大規模言語モデル(LLM)の性能は、伝統的に複数の選択質問ベンチマークを用いて評価されてきた。 しかし、これらのベンチマークは非常に制約があり、LSMによる繰り返しの印象的な性能に飽和しており、実際の臨床シナリオにおけるパフォーマンスと不明瞭な関係がある。 臨床理由づけは、医師が臨床データを収集・合成して医学的問題を診断・管理するために批判的思考を用いるプロセスであり、モデルパフォーマンスの魅力的なベンチマークである。 以前のLSMでは、日常的および複雑な診断シナリオにおいて、優れた臨床医に期待が持たれている。 そこで我々は,OpenAIのo1-previewモデルを評価することを試みた。 本研究は, 鑑別診断生成, 診断推論の表示, トリアージ差分診断, 確率的推論, 管理推論の5つの実験により, 評価された精神測定値の専門医による評価を行った。 我々の最初の成果は、過去のLLMの人体制御とベンチマークを持つ同じ実験と、o1-preview出力の比較であった。 鑑別診断生成と診断・管理の質に有意な改善が認められた。 確率的推論やトリアージ鑑別診断では改善は認められなかった。 本研究は,従来のモデルと類似した確率論的推論タスクにおいて,診断や管理などの複雑な批判的思考を必要とするタスクに対して,o1-previewが強く機能する能力を強調した。 人間の医師と比較して、新しい堅牢なベンチマークとスケーラブルなLLM能力の評価と、実際の臨床環境でAIを評価するための試行が必要である。

関連論文リスト

• ChestX-Reasoner: Advancing Radiology Foundation Models with Reasoning through Step-by-Step Verification [57.22053411719822]
  ChestX-Reasoner(チェストX-Reasoner)は、臨床報告から直接採掘されるプロセスの監督を活用するために設計された放射線診断MLLMである。 我々の2段階のトレーニングフレームワークは、モデル推論と臨床標準との整合性を高めるために、プロセス報酬によって指導された教師付き微調整と強化学習を組み合わせる。
  論文  参考訳（メタデータ） (2025-04-29T16:48:23Z)
• AnesBench: Multi-Dimensional Evaluation of LLM Reasoning in Anesthesiology [47.52685298426068]
  麻酔学における大規模言語モデル(LLM)の推論能力を体系的に評価した。 AnesBenchは3段階にわたる麻酔学関連推論を評価するために設計された言語間ベンチマークである。
  論文  参考訳（メタデータ） (2025-04-03T08:54:23Z)
• m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models [21.849783391186754]
  本研究は,医学的推論のためのテストタイムスケーリングとm1の総合的な研究である。 各種医療タスクに対する評価は,テストタイムのスケーリングが医学的推論を継続的に促進することを示す。 データスケールの増加,データ品質の向上,モデル能力の拡大により,医療知識の基盤化が一貫して進んでいることが判明した。
  論文  参考訳（メタデータ） (2025-04-01T14:57:43Z)
• MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning [34.93995619867384]
  LLM(Large Language Models)は、既存の医学的質問応答ベンチマークで素晴らしいパフォーマンスを示している。 MedAgentsBenchは、多段階の臨床推論、診断の定式化、および治療計画シナリオを必要とする医学的問題に焦点を当てたベンチマークである。
  論文  参考訳（メタデータ） (2025-03-10T15:38:44Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Improving Interactive Diagnostic Ability of a Large Language Model Agent Through Clinical Experience Learning [17.647875658030006]
  本研究では,性能劣化現象の根底にあるメカニズムについて検討する。 我々は,中国とアメリカの医療施設から350万件以上の電子医療記録を活用する,PPME ( Plug-and-play) LLM エージェントを開発した。 本研究は, 初期疾患の診断・調査のための専門モデルを統合し, 指導的, 強化的学習技術を用いて訓練した。
  論文  参考訳（メタデータ） (2025-02-24T06:24:20Z)
• SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
  大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。 内科的知識を活用しててててんかんの診断を行う技術について検討した。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Worse than Random? An Embarrassingly Simple Probing Evaluation of Large Multimodal Models in Medical VQA [24.10436440624249]
  大規模マルチモーダルモデル(LMM)は医療用視覚質問応答(Med-VQA)において顕著な進歩を示した 本研究は, 簡易な探索評価を行う場合, 医学的診断問題に対するランダムな推測よりも, 最先端のモデルの方が悪いことを明らかにした。
  論文  参考訳（メタデータ） (2024-05-30T18:56:01Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Beyond Direct Diagnosis: LLM-based Multi-Specialist Agent Consultation for Automatic Diagnosis [30.943705201552643]
  本研究では,潜在的な疾患に対するエージェントの確率分布を適応的に融合させることにより,現実世界の診断過程をモデル化する枠組みを提案する。 提案手法では,パラメータ更新とトレーニング時間を大幅に短縮し,効率と実用性を向上する。
  論文  参考訳（メタデータ） (2024-01-29T12:25:30Z)
• Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm [36.60917255464867]
  本稿では,エンコーダ・デコーダモデルにインスパイアされた新しい応答効率応答パラダイムに基づく,識別可能な認知診断フレームワークを提案する。 診断精度を損なうことなく,ID-CDFが効果的に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-01T07:18:02Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)
• DR.BENCH: Diagnostic Reasoning Benchmark for Clinical Natural Language Processing [5.022185333260402]
  診断推論ベンチマーク(DR.BENCH)は臨床診断推論能力を持つcNLPモデルの開発と評価のための新しいベンチマークである。 DR.BENCHは、訓練済みの言語モデルを評価するための自然言語生成フレームワークとして設計された最初の臨床スイートである。
  論文  参考訳（メタデータ） (2022-09-29T16:05:53Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。