論文の概要: ClinEdge: An Expert-Graded Benchmark of Real Patient Edge Cases Where Frontier Multimodal Models Fail

• arxiv url: http://arxiv.org/abs/2610.15239v1
• Date: Sun, 11 Oct 2026 00:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.179539
• Title: ClinEdge: An Expert-Graded Benchmark of Real Patient Edge Cases Where Frontier Multimodal Models Fail
• Title（参考訳）: ClinEdge:フロンティアマルチモーダルモデルが機能しない実例のベンチマーク
• Abstract要約: ClinEdgeは、アクティブな臨床実践から、実際の未確認患者32名とのギャップに対処する。 それぞれのケースは、パターンマッチング推論を破ることで知られる特徴を含む、短いビグネットとプライマリイメージングをペアリングする。 それぞれのケースは7つのフロンティアシステムで評価され、合計224人の専門家による評価が行われた。
• 参考スコア（独自算出の注目度）: 3.6882650293815487
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most benchmarks for large language models in medicine are built from licensing examinations and theoretical questions. The few that draw on real clinical data do so only in part, and rarely require a model to read a patient's own imaging. ClinEdge addresses this gap with 32 real, de-identified patient cases from active clinical practice, each evaluated across seven frontier systems for a total of 224 expert-graded evaluations. Each case pairs primary imaging with a short vignette, contains a feature known to defeat pattern-matched reasoning, and is scored against the patient's documented clinical course. The suite is built for depth rather than volume. Grading followed a two-stage expert process. First, a senior orthopaedic surgeon graded all 224 responses on a weighted rubric and a pass-or-fail verdict. Second, a panel of nineteen physicians, largely senior specialists at teaching medical colleges, independently reviewed every case and every one of the 224 grades. All seven production systems were evaluated through their public interfaces, and all 224 conversations are preserved as replayable links. Performance was poor across all systems, and the failures were shared: different vendors missed the same findings and converged on the same wrong plans. From the experts' notes we catalogue 18 recurring failure modes in five families. The models stop reading an image at the first finding. They give generic plans and lean toward over-treatment. They trust a misleading history over correct imaging. Their answers vary across systems and runs, and change with question format. Failing answers were delivered fluently and without any expressed uncertainty. Four cases are released in full; the remaining 28 are held out, and we invite frontier AI labs and healthcare AI companies to evaluate their models against them (research@futrbridge.com)
• Abstract（参考訳）: 医学における大きな言語モデルのためのほとんどのベンチマークは、ライセンス試験と理論的疑問から構築されている。 実際の臨床データに頼っている人はほとんどおらず、患者自身の画像を読むのにモデルを必要とすることはめったにない。 ClinEdgeはこのギャップに対処し、アクティブな臨床実践から32人の患者を同定し、それぞれ7つのフロンティアシステムで合計224人の専門家による評価を行った。 それぞれの症例は、プライマリ・イメージングと短いビグネットをペアリングし、パターン整合推論を破ることで知られる特徴を含み、患者の記録された臨床経過に対して得点される。 このスイートはボリュームではなく深さのために作られています。 グラディングは2段階の専門家プロセスに続く。 第一に、整形外科医は、重み付けされたルーリックとパス・オー・フェイルの判定で、全ての224の反応を評価した。 第2に、19人の医師からなるパネルは、主に医学部を指導する上級専門医であり、独立して全てのケースと224学年の1つをレビューした。 7つのプロダクションシステムは公開インターフェースを通じて評価され、224の会話はすべて再生可能なリンクとして保存される。 さまざまなベンダーが同じ発見を見逃し、同じ間違った計画にまとめました。 専門家のノートから、私たちは5つのファミリーで18の繰り返し失敗モードをカタログ化しました。 モデルは最初の発見で画像を読むのをやめます。 汎用的な計画を与え、過剰な扱いに傾倒する。 彼らは正確な画像よりも誤解を招く歴史を信じている。 彼らの答えはシステムや実行によって異なり、質問形式によって変わる。 失敗の答えは、何の不確実性も示さずに、流動的に届けられた。 残りの28件は公開され、フロンティアAIラボとヘルスケアAI企業を招待して、彼らのモデルを評価する(research@futrbridge.com)。

関連論文リスト

• ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering [33.27644708906731]
  検証可能な報酬を伴う強化学習は数学やコーディングにおいて特に効果的である。 ConRub-Medを導入し,建設から政策最適化へのルーブリックフィードバックの移動に伴い,有用性を維持する。 ConRub-Medは9つのベンチマークのうち6つにランクインしている。
  論文  参考訳（メタデータ） (2026-08-11T14:48:15Z)
• BenchX: Benchmarking AI Models for Cancer Detection and Localization with Demographic and Protocol Biases [59.19934491064188]
  人工知能(AI)は医療画像において顕著な成功を収めた。 これらのモデルは、実世界の臨床環境において矛盾なく機能することが多い。 我々は,12種類の腫瘍検出AIモデルを体系的に評価する85,355個のCTスキャンのベンチマークを開発した。
  論文  参考訳（メタデータ） (2026-06-23T17:58:59Z)
• JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation [53.571125769505194]
  本稿では,視覚言語モデルを評価するための医療ライセンスベンチマークであるJMed48kを紹介する。 JMed48kは、厚生労働省が発行した公式PDF資料から作成され、48,862件の試験質問と20,142件の画像を収録している。 JMed48k-Evalは,テキストのみの質問9,905件,画像による質問2,579件を含む12,484件の回答を得た。
  論文  参考訳（メタデータ） (2026-05-21T07:20:38Z)
• NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding [6.217658756255346]
  NeuroQAは3次元脳磁気共鳴画像(MRI)における視覚的質問応答のための大規模ベンチマークである 5-104歳と5つの臨床領域(アルツハイマー病、パーキンソン病、腫瘍、白質疾患、神経発達)にまたがる。 NeuroQAは、Yes/No、Multi-choice、オープンエンドフォーマットの11の臨床基礎的推論スキルを評価している。
  論文  参考訳（メタデータ） (2026-05-19T21:54:12Z)
• MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence [24.517280048376758]
  medvigilは4つの公開医療用VQAソースから作成された300ケースの評価スイートである。 あらゆるゴールド回答、拒絶オプション、候補答えセット、パラフレーズ、虚偽の前提トラップ、ROIボックス、臨床リスクレベルが臨床著者によって作成される。 メドビニル複合スコア(MCS)に要約した7つの正当性条件監査指標を報告する。 独立した放射線学者は、静電気障害率5.8%でMCS 83.3をスコアし、14.1ポイントの複合ヘッドルームを最強の監査モデルの上に残した。
  論文  参考訳（メタデータ） (2026-05-08T15:55:30Z)
• Sequential Diagnosis with Language Models [21.22416732642907]
  本稿では,304症例を段階的に診断するシークエンシャル診断ベンチマークを紹介する。 成績は、診断精度だけでなく、医師の診察や検査の費用によって評価される。 また,医師のパネルを模擬したモデル診断オーケストレータであるMAI診断オーケストレータ(MAI-DxO)についても紹介する。
  論文  参考訳（メタデータ） (2025-06-27T17:27:26Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark [48.30502612686276]
  肺癌は最も致命的ながんの1つであり、その効果的な診断と治療は腫瘍の正確な悪性度に依存している。 現在最も一般的なアプローチであるHuman-centered segmentationは、サーバ間変動の対象となる。 2018年のVIPカップは、42か国から競争データにアクセスするための世界的な参加から始まった。 簡単に言えば、競争中に提案されたアルゴリズムはすべて、偽陽性還元手法と組み合わせたディープラーニングモデルに基づいている。
  論文  参考訳（メタデータ） (2022-01-03T03:06:38Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。