論文の概要: AusClinBench: a deterministically scored benchmark of large language models against current Australian clinical policy
- arxiv url: http://arxiv.org/abs/2610.31993v1
- Date: Thu, 22 Oct 2026 23:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.31005
- Title: AusClinBench: a deterministically scored benchmark of large language models against current Australian clinical policy
- Title（参考訳）: AusClinBench:オーストラリアの現在の臨床政策に対する大規模言語モデルの決定的評価基準
- Abstract要約: オーストラリアのガイドラインと5つのドメインのスケジュールから142の質問をしました。
それぞれの質問は盲目になり、統治条項が提供された。
ブラインド精度は51.5%から92.7%まで変化し、最高スコアのモデルは分離できなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI models already inform clinical decisions and draft notes in Australian clinical software, usually without the practitioner being told which model is used. Existing medical benchmarks are written for other jurisdictions. We wrote 142 questions from Australian guidelines and schedules across five domains (PBS authority, MBS billing, Ahpra obligations, triage red flags, immunisation and screening), each with one verifiable answer scored by exact match. Each question ran blind and with the governing clause supplied, which separates failure to recall the current rule from failure to apply it. We tested 28 models between July and October 2026. Blind accuracy ranged from 51.5% to 92.7%, and the highest-scoring models could not be separated. Of 791 failed model-question pairs, 684 (86%) were wrong blind and right with the clause. Confident-error rates ranged from 6.6% to 47.8%. On five immunisation questions where the guideline gives no directive, 82% of answers stated one. On 20 Aboriginal and Torres Strait Islander health questions, models did no worse overall, but on a few the wrong answers gave the rule for the general population, an older rule or another country's rule. We propose treating the model as an ingredient of a clinical product, with a minimum standard on local rules that sits beside product evaluation. The keys are one general practitioner's and are not yet independently reviewed. The benchmark measures base models, not clinical products, and does not license any model for clinical use.
- Abstract（参考訳）: AIモデルは、オーストラリアの臨床ソフトウェアにおいて、すでに臨床決定とドラフトノートを通知しており、通常、どのモデルが使われているかを知らされない。
既存の医療ベンチマークは、他の司法機関のために書かれています。
オーストラリアのガイドラインと5つのドメイン(PBS権限,MBS請求,Ahpra義務,トリアージ赤旗,免疫,スクリーニング)の142の質問に対して,それぞれ正当一致で検証可能な1つの回答を得た。
それぞれの質問は盲目となり、規定された統治条項により、現在のルールをリコールする失敗とそれを適用する失敗を分離した。
私たちは2026年7月から10月にかけて28のモデルをテストしました。
ブラインド精度は51.5%から92.7%まで変化し、最高スコアのモデルは分離できなかった。
791組が失敗し、684組(86%)が失明し、その条項は正しくなかった。
信頼度は6.6%から47.8%であった。
ガイドラインが指示を与えない5つの免疫に関する質問では、82%の回答が1つと答えている。
アボリジニとトーレス・ストレイト・アイランドの健康問題20では、モデルは全体的には悪くなかったが、いくつかの間違った回答では、一般人口、古いルール、その他の国のルールが与えられた。
本稿では, 製品評価の傍に置かれる局所ルールの最小限の基準で, このモデルを臨床製品の成分として扱うことを提案する。
鍵は1つの一般的な実践者であり、まだ独立してレビューされていない。
このベンチマークは、臨床製品ではなくベースモデルを測定しており、臨床使用のためのモデルもライセンスしていない。
関連論文リスト
- Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination [0.9236074230806578]
スペインのMIR在留試験において,8～27億のパラメータの4つのオープンモデルの精度について検討した。
3つの大きなモデルは、およそ600から3000人の候補者の中からランク付けされ、41から43の特典がまだ開かれている。
医療の微調整は、正しい回答と正しく区別する方法を改善することなく、正確さを犠牲にして過度に自信を減らした。
論文 参考訳（メタデータ） (2026-10-22T17:23:11Z) - RetiJev: Fast and Source-Grounded Ophthalmic Decision Models [49.18315352624845]
自己回帰型大規模言語モデル(LLM)は、事前に定義されたアクション間の決定にかなりのレイテンシと計算オーバーヘッドをもたらす。
RetiJev-Dataは,78,158個の臨床診断と診断質問からなる眼科原点検コーパスである。
RetiJev は 0.8B-9B 決定モデルのファミリーで, 自己回帰的復号化を伴わず, 直接解を求める。
論文 参考訳（メタデータ） (2026-10-22T08:59:47Z) - Language-model ratings of depression reflect the rater more than the patient [13.033343345709207]
言語モデルはタイヤレスで一貫した評価を約束するが、正確なラッカーは個人について意見が一致しないだろうか?
モデル選択では、総症状スコアのばらつきの30.0%、安定した参加者差の10.5%が説明されている。
受信機操作特性曲線 (AUC) >= 0.70 の領域がランダムに描画された2つのラッカーは、平均40%の被験者のスクリーニング決定に異を唱えた。
論文 参考訳（メタデータ） (2026-10-06T15:08:17Z) - Unknown is not normal: separating language-model extraction from rule-based decision logic for clinical risk scores [0.0]
大規模言語モデル(LLM)は、フリーテキストノートから臨床リスクスコアを計算するために、ますます使われてきている。
決定論理から三状態抽出を分離することで、システムは決定を変えることができる質問のみを問うことができるかどうかを検証する。
論文 参考訳（メタデータ） (2026-09-28T01:48:17Z) - TCMQA: A 38K-Question Traditional Chinese Medicine Benchmark with a Licensed-Practitioner Reference [4.049448128633759]
我々は、中国のTCMライセンス試験から38,279の質問をオープンにベンチマークしたTCMQAを紹介します。
我々は,0.27Bから14.8Bのパラメータにまたがる9つのファミリーから29の命令調整モデルを評価する。
論文 参考訳（メタデータ） (2026-09-26T23:11:48Z) - JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation [53.571125769505194]
本稿では,視覚言語モデルを評価するための医療ライセンスベンチマークであるJMed48kを紹介する。
JMed48kは、厚生労働省が発行した公式PDF資料から作成され、48,862件の試験質問と20,142件の画像を収録している。
JMed48k-Evalは,テキストのみの質問9,905件,画像による質問2,579件を含む12,484件の回答を得た。
論文 参考訳（メタデータ） (2026-05-21T07:20:38Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine [3.471944921180245]
大規模言語モデル(LLM)は、医療領域において大きな可能性を示す。
これらの質問は、USMLEのような試験をモデルとしたMCQ(Multiple-choice Question)を用いて評価されることが多い。
私たちは、想像上のオルガンであるGlianorexを中心とした架空の医療ベンチマークを作成し、記憶された知識と推論能力の分離を可能にしました。
論文 参考訳（メタデータ） (2024-06-04T15:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。