論文の概要: One-shot emergency psychiatric triage across 15 frontier AI chatbots

• arxiv url: http://arxiv.org/abs/2604.25415v1
• Date: Tue, 28 Apr 2026 09:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.793941
• Title: One-shot emergency psychiatric triage across 15 frontier AI chatbots
• Title（参考訳）: フロンティアのAIチャットボット15社に1発の緊急精神医学的トリアージ
• Authors: Veith Weilnhammer, Lennart Luettgau, Christopher Summerfield, Viknesh Sounderajah, Elise Wilkinson, Virginia Corno, Matthew M Nour,
• Abstract要約: 精神科のトリアージは、客観的な発見よりも、思考、行動、文脈から緊急性を引き出す必要があるため、困難である。 我々は、現実的なシングルメッセージ開示から、精神科トリアージにおける15のフロンティアAIチャットボットの性能を評価した。 Dレベルは94.3%、Bレベルは19.7%だった。 符号付き順序誤差は正(+0.47トリアージレベル)であり、ネットオーバートリアージを示している。
• 参考スコア（独自算出の注目度）: 1.0563489041368244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI chatbots are increasingly used for health advice, but their performance in psychiatric triage remains undercharacterized. Psychiatric triage is particularly challenging because urgency must often be inferred from thoughts, behavior, and context rather than from objective findings. We evaluated the performance of 15 frontier AI chatbots on psychiatric triage from realistic single-message disclosures using 112 clinical vignettes, each paired with 1 of 4 original benchmark triage labels: A, routine; B, assessment within 1 week; C, assessment within 24 to 48 hours; and D, emergency care now. Vignettes covered 9 psychiatric presentation clusters and 9 focal risk dimensions, organized into 28 presentation-by-risk groups. Each group contributed 4 distinct vignettes, with 1 vignette at each triage level. Each vignette was rendered as a realistic human-authored conversational query, and the AI chatbots were tasked with assigning a triage label from that disclosure. Emergency under-triage occurred in 23 of 410 level D trials (5.6%), and all under-triaged emergencies were reassigned to level C urgency. Across target models, average accuracy ranged from 42.0% to 71.8%. Accuracy was highest for level D vignettes (94.3%) and lowest for level B vignettes (19.7%). Mean signed ordinal error was positive (+0.47 triage levels), indicating net over-triage. Dispersion was highest around the middle triage levels. All results were confirmed relative to clinician consensus labels from 50 medical doctors. When presented with user messages containing sufficient clinical information, frontier AI chatbots thus recognized psychiatric emergencies as requiring urgent medical assessment with near-zero error rates, yet showed marked over-triage for low and intermediate risk presentations.
• Abstract（参考訳）: AIチャットボットは、健康アドバイスにますます使われているが、精神医学的トリアージにおける彼らのパフォーマンスは、いまだに不十分である。 精神科トリアージは、客観的な発見からではなく、思考、行動、文脈から緊急性を引き出す必要があるため、特に困難である。 A, routine, B, 評価1週間以内, C, 24～48時間以内, D, 救急医療の4つのベンチマークトリアージラベルのうち1つをペアにした112つの臨床ヴィグネットを用いて, 現実的なシングルメッセージ開示から, 精神科トリアージにおける15のフロンティアAIチャットボットの性能を評価した。 Vignettes氏は9つの精神科的プレゼンテーションクラスタと9つの中心的リスクディメンションをカバーし、28のプレゼンテーション・バイ・リスクグループに編成した。 各グループは4つの異なるヴィグネットを寄贈し、各トリアージレベルで1つのヴィグネットを提出した。 それぞれのヴィグネットは、人間によるリアルな会話クエリとして表現され、AIチャットボットはその開示からトリアージラベルを割り当てることが義務付けられていた。 緊急治療は410レベルのD試験(5.6%)で23回行われ、すべての緊急治療はCレベルに変更された。 目標モデル全体では、平均精度は42.0%から71.8%であった。 Dレベルは94.3%、Bレベルは19.7%だった。 符号付き順序誤差は正(+0.47トリアージレベル)であり、ネットオーバートリアージを示している。 分散度は中間三段前後が最も高かった。 その結果,50名の医師からの臨床コンセンサスラベルが得られた。 十分な臨床情報を含むユーザメッセージが提示されると、フロンティアのAIチャットボットは、精神科の緊急事態を、ほぼゼロのエラー率で緊急の医療評価を必要とすると認識したが、低リスクと中間リスクのプレゼンテーションに対して、明らかに過剰なトリアージを示した。

関連論文リスト

• ReXInTheWild: A Unified Benchmark for Medical Photograph Understanding [33.868464991344354]
  ReXInTheWildは,7つの臨床トピックにまたがる,955のクリニカル認定多重選択質問のベンチマークである。 Gemini-3の精度は78%、Claude Opus 4.5 (72%) と GPT-5 (68%) が続く。 体系的エラー解析はまた、低レベルの幾何学的誤りから高レベルの推論失敗まで、一般的なエラーの4つのカテゴリを明らかにしている。
  論文  参考訳（メタデータ） (2026-03-19T22:54:28Z)
• Evaluation format, not model capability, drives triage failure in the assessment of consumer health AI [3.910019733981544]
  ChatGPT Healthは緊急事態の51.6%を減らし、消費者が直面するAIトリアージは安全リスクをもたらすと結論付けた。 5つのフロンティア LLM (GPT-5.2, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 3 Flash, Gemini 3.1 Pro) を17-scenario部分レプリケーションバンク上でテストした。 見出しのアンダートリアージレートは評価形式に強く依存しており、デプロイされたトリアージの挙動を安定的に見積もってはならない。
  論文  参考訳（メタデータ） (2026-03-12T00:58:22Z)
• From Days to Minutes: An Autonomous AI Agent Achieves Reliable Clinical Triage in Remote Patient Monitoring [2.0918370570198763]
  遠隔患者モニタリング(RPM)は膨大なデータを生成するが、データ量が臨床スタッフを圧倒したため、目覚ましい臨床試験(Tele-HF, BEAT-HF)は失敗した。 RPMバイタルのコンテキストトリアージにモデルコンテキストプロトコル(MCP)を用いた自律型AIエージェントSentinelを開発した。
  論文  参考訳（メタデータ） (2026-03-10T00:50:54Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
  大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。 本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
  論文  参考訳（メタデータ） (2025-10-24T08:01:21Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
  MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。 双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
  論文  参考訳（メタデータ） (2025-02-20T06:33:23Z)
• A novel multiple instance learning framework for COVID-19 severity assessment via data augmentation and self-supervised learning [64.90342559393275]
  新型コロナウイルスの重症度を迅速かつ正確に評価する方法は、世界中の何百万人もの人々がパンデミックに苦しんでいる場合に必要不可欠な問題だ。 CT画像による新型コロナウイルスの重症度自動評価を妨害する可能性のある、弱いアノテーションと不十分なデータという2つの問題があることを観察する。 平均精度は95.8%で、感度は93.6%、特異性は96.4%で、前作より優れていた。
  論文  参考訳（メタデータ） (2021-02-07T16:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。