論文の概要: IyawoBench v2.0: Extended Diagnostic Evaluation of Large Language Model Clinical Triage in Nigerian Primary Care
- arxiv url: http://arxiv.org/abs/2607.29085v1
- Date: Fri, 31 Jul 2026 07:11:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.220861
- Title: IyawoBench v2.0: Extended Diagnostic Evaluation of Large Language Model Clinical Triage in Nigerian Primary Care
- Title（参考訳）: IyawoBench v2.0: ナイジェリアのプライマリ・ケアにおける大規模言語モデルの臨床評価
- Abstract要約: IyawoBench v2.0 は,大言語モデルによる臨床トリアージの診断に有用である。
トリアージ安全性を3つの異なる障害モード(保守的エスカレーションバイアス、システマティックダウングレードバイアス、ミドルタイア不安定)に分解するフォーマルな数学的枠組みを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are being deployed as clinical triage tools in low and middle income countries where trained physicians are scarce. Existing safety metrics, however, produce misleading confidence: models scoring 100% on binary "did not send an emergency home" safety measures may nevertheless exhibit systematic failure modes that render them undeployable at scale. We present IyawoBench v2.0, an extended diagnostic evaluation of large language model clinical triage on 200 synthetic vignettes derived from 1,200 real patient encounters at 19 Nigerian primary health centres. We introduce a formal mathematical framework comprising fourteen definitions and two theorems that decompose triage safety into three distinct failure modes: Conservative Escalation Bias, Systematic Downgrade Bias, and Middle-Tier Instability. We propose the Escalation Bias Index and Expected Deployment Cost as novel metrics that expose failure modes hidden by conventional accuracy and sensitivity scores. Evaluated on three frontier models (Claude Sonnet 4.6, Llama 3.3 70B, Llama 3.1 8B) plus five naive baselines, we show that: (1) all three models exhibit at least one formal failure mode; (2) traditional sensitivity metrics conceal a 77 percentage point under-triage gap in Llama 3.1 8B; (3) the optimal model varies across three deployment scenarios (Emergency-Focused, System-Sustainability, Balanced), demonstrating that single-ranking benchmarks are inadequate for LMIC clinical AI selection. IyawoBench v2.0 provides both a rigorous benchmark and a diagnostic framework transferable to any triage-style clinical AI evaluation. All code, data, and analysis pipelines are publicly available.
- Abstract（参考訳）: 大規模な言語モデルは、訓練医が不足している低所得国や中所得国において、臨床トリアージツールとして展開されている。
しかし、既存の安全基準は誤解を招くような自信を生み出す:「緊急の家に送らない」バイナリで100%スコア付けされたモデルは、にもかかわらず、大規模に展開できないような体系的な障害モードを示すかもしれない。
IyawoBench v2.0は、ナイジェリアの第一健康センターで1200人の実際の患者が遭遇した200種類の合成ヴィニネットに対して、大規模言語モデルの臨床トリアージを拡張した診断評価である。
本稿では,14の定義と2つの定理からなり,三重項安全性を3つの異なる障害モード(保守的エスカレーションバイアス,系統的ダウングレードバイアス,中間的不安定性)に分解する公式な数学的枠組みを導入する。
従来の精度と感度のスコアで隠された障害モードを明らかにする新しい指標として,エスカレーションバイアス指数と期待デプロイコストを提案する。
3つのフロンティアモデル (Claude Sonnet 4.6, Llama 3.3 70B, Llama 3.1 8B) と5つのナイーブベースラインで評価した結果, 1) 3つのモデル全てが少なくとも1つの形式的障害モードを示し, 2) Llama 3.1 8Bの77パーセントのアンダートリアージギャップを隠蔽し, (3) 最適モデルは3つのデプロイメントシナリオ(緊急焦点, System-Sustainability, Balanced)にまたがって変化し, LMIC臨床AI選択にはシングルグレードベンチマークが不十分であることを示す。
IyawoBench v2.0は、トリアージスタイルの臨床AI評価に転送可能な厳格なベンチマークと診断フレームワークの両方を提供する。
すべてのコード、データ、分析パイプラインが公開されている。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Closed-Loop Validation-Repair for Healthcare Interoperability: A Multi-Model Study of Schema Compliance in Clinical LLMs [0.0]
Qwen2.5 7B, Llama 3.1 8B, Gemma2 9Bの3つのオープンソースモデルを評価する。
スキーマ非コンプライアンスは3つのモデルファミリ間で一貫性があり、ベースラインコンプライアンス率は85.9から91.6%である。
バリデーション・リペア・フレームワークは、モデル全体で98.4から99.4%の範囲で、全体的なコンプライアンスを99.0パーセント達成している。
論文 参考訳（メタデータ） (2026-07-27T12:45:27Z) - IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings [0.0]
ナイジェリアでは、未分化の胎児病がプライマリケアの外来訪問の主な原因となっている。
大規模言語モデル(LLM)の臨床トリアージ推論を評価するための検証済みのベンチマークは存在しない。
IywBench v1.0は8つの女性病カテゴリにまたがる200種類の合成臨床ヴィニネットのデータセットである。
論文 参考訳（メタデータ） (2026-05-22T10:25:51Z) - Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings [0.0]
本研究は, 臨床用AIにおける2つの安全性の脆弱性について, 対向画像の脆弱性と言語間診断ドリフトの2つの脆弱性について, 初めて系統的二重検査を行ったものである。
COVID-QU-Ex胸部X線データセットを微調整したDenseNet121を用いて、診断精度が89.3%から62.0%に低下することを示した。
Llama3.1:8bおよびNatLAS(NLASAT)を標準英語、ナイジェリア・ピジン(ナイジャ)、ヨルバ・インフレクテッド・インフレクテッド・イングリッシュ(英語版)で紹介した。
論文 参考訳（メタデータ） (2026-05-16T13:33:47Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。
構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。
Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
論文 参考訳（メタデータ） (2026-03-23T05:46:45Z) - Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。
私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。
Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
論文 参考訳（メタデータ） (2026-01-25T01:28:52Z) - ClinNet: Evidential Ordinal Regression with Bilateral Asymmetry and Prototype Memory for Knee Osteoarthritis Grading [3.337151338735509]
X線画像に基づく膝関節症(KOA)の診断は極めて難しい課題である。
本研究では, KOA グレーディングに対処する信頼性の高い新しいフレームワーク ClinNet を提案する。
論文 参考訳（メタデータ） (2026-01-24T05:49:41Z) - Diagnosing Hallucination Risk in AI Surgical Decision-Support: A Sequential Framework for Sequential Validation [5.469454486414467]
大言語モデル (LLMs) は脊椎手術における臨床的決定支援の転換的可能性を提供する。
LLMは幻覚を通じて重大なリスクを引き起こすが、これは事実的に矛盾しているか、文脈的に不一致な出力である。
本研究は, 診断精度, 推奨品質, 推理堅牢性, 出力コヒーレンス, 知識アライメントを評価することによって, 幻覚リスクを定量化するための臨床中心の枠組みを提案する。
論文 参考訳（メタデータ） (2025-11-01T15:25:55Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。