論文の概要: RxScribe Bench: A Multi-Axis Benchmark for Evaluating Vision-Language Models on Indian Outpatient Prescriptions
- arxiv url: http://arxiv.org/abs/2609.13280v1
- Date: Tue, 08 Sep 2026 11:39:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.170205
- Title: RxScribe Bench: A Multi-Axis Benchmark for Evaluating Vision-Language Models on Indian Outpatient Prescriptions
- Title(参考訳): RxScribe Bench:インド外来における視覚言語モデルの評価のための多軸ベンチマーク
- Abstract要約: RxScribe Bench(RxScribe Bench)は、手書き処方薬のデジタル化において視覚言語モデルを評価するためのベンチマークである。
全てを1つの集計スコアに折り畳むのではなく、臨床的な重大さに結びついた4つの軸に分解する。
画像ごとの独立したコールドランにまたがる実処方薬のフロンティア視覚言語モデルを評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prescription transcription errors are not interchangeable. A model that fabricates a drug and a model that misreads a legible dose pose very different clinical risks, yet prescription-transcription accuracy is typically reported as a single blended figure that treats the two as equivalent. We introduce RxScribe Bench, a benchmark for evaluating vision-language models on handwritten prescription digitization that decomposes performance into four axes tied to clinical severity, rather than folding everything into a single aggregated score. Given only a prescription image and an output schema, a model produces a structured record, which is then compared field by field against a human-authored ground truth of identical shape, with each field also labeled for visibility and legibility. The four axes isolate distinct failure modes, namely Correctness, Hallucination, Engagement, and Robustness. The Robustness axis withholds its hard-field results rather than reporting one when the supporting sample falls below a minimum-evidence threshold. We evaluate frontier vision-language models on real prescriptions across independent cold runs per image, and find that no single model wins across all four axes.
- Abstract(参考訳): 処方された転写エラーは交換できない。
薬物を製造するモデルと、可逆投与を誤読するモデルは、非常に異なる臨床リスクをもたらすが、処方薬の転写精度は、2つを同等に扱う単一のブレンドフィギュアとして報告されるのが一般的である。
RxScribe Benchは、手書き処方薬のデジタル化における視覚言語モデルの評価のためのベンチマークであり、全てを1つの集計スコアに折り畳むのではなく、臨床重大度に結びついた4つの軸に分解する。
処方画像と出力スキーマのみを与えられたモデルが構造化されたレコードを生成し、そのレコードはフィールドごとに同一の形状の人間による真実と比較され、各フィールドは可視性と可視性のためにラベル付けされる。
4つの軸は、補正、幻覚、エンゲージメント、ロバストネスという、異なる障害モードを分離する。
ロバストネス軸は、支持サンプルが最小エビデンス閾値以下になると報告するのではなく、ハードフィールドの結果を無視する。
画像ごとの独立したコールドランにまたがる実処方薬のフロンティア視覚言語モデルを評価し,4軸すべてに1つのモデルが勝つことはないことを確認した。
関連論文リスト
- SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。
我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。
スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
論文 参考訳(メタデータ) (2026-09-11T02:25:18Z) - A report-grounded vision-language foundation model for colonoscopy from 280000 routine reports [58.14965296904734]
EndoCLIPは125,756の病変レベルの画像テキストペアに基づいて訓練された視覚言語基盤モデルである。
これは、ゼロショットとリニアプローブの両方の設定において、汎用およびバイオメディカルな視覚言語エンコーダよりも優れている。
論文 参考訳(メタデータ) (2026-07-30T16:24:36Z) - Same Facts, Different Diagnosis: Measuring and Mitigating Narrative Anchoring in Clinical Language Models [0.15293427903448023]
我々は,1,000USMLE臨床ヴィグネットのデータセットを構築し,それぞれが3つの社会言語学的に異なるペルソナに書き換えた。
ナラティブ・アンチョリングは、テストされた全てのモデルにおいて直接的なプロンプトの下で統計的に有意であり、ナラティブ・アンチョリングギャップは0.064から0.151である。
診断開始前の臨床事実を構造的に抽出し,検証する3エージェントパイプラインであるNarrativeShieldを紹介した。
論文 参考訳(メタデータ) (2026-07-29T18:43:47Z) - The Slop Paradox: How Synthetic Standardization Erodes Clinical Uncertainty and Cross-Modal Alignment in AI-Rewritten Radiology Reports [0.0]
インディアナ大学のデータセットから450個の胸部X線レポートを用いて、3つのリアルな書き換えタスクによって合成版を生成する。
我々は, 実体浸食(医学的NER), ヘッジ崩壊(臨床不確実性言語の欠如), クロスモーダルアライメント劣化を測定した。
劣化の主要な要因は、臨床内容ではなく、AI書き換えタスクの種類である。
論文 参考訳(メタデータ) (2026-06-16T11:07:48Z) - Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs [53.697403481143404]
LVLM(Large Vision-Language Models)は、医用画像処理タスクにおいて強力なパフォーマンスを実現している。
しかし、実際の不整合、視力の低下、臨床的に有意義なフィードバックによる不一致が続く傾向にある。
論文 参考訳(メタデータ) (2026-06-10T18:35:36Z) - A Reasoning-Enabled Vision-Language Foundation Model for Chest X-ray Interpretation [48.23500302185585]
CXR解釈のための推論可能な視覚言語モデルであるCheXOneを提案する。
CheXOneは、診断予測と明示的で臨床的に根拠付けられた推論トレースを共同で生成する。
55%のケースでは,CheXOneドラフトレポートは常駐レポートと同等かそれ以上であることがわかった。
論文 参考訳(メタデータ) (2026-04-01T05:19:09Z) - A Scalable Predictive Modelling Approach to Identifying Duplicate Adverse Event Reports for Drugs and Vaccines [0.0]
薬物移動の実践は、個々のケースセーフティレポートの大規模なデータベースに依存している。
重複報告は、統計分析と誤診を妨げます。
本稿では,アートモデルであるvigiMatchをベースとして,既存機能の変更と新機能の導入を行う。
論文 参考訳(メタデータ) (2025-03-31T15:24:29Z) - Anatomically-Grounded Fact Checking of Automated Chest X-ray Reports [0.0]
そこで本稿では, 報告によって提示された発見とその位置の誤りを識別する, 説明可能なファクトチェックのための新しいモデルを提案する。
我々は,複数のSOTA自動報告ツールが生成した報告の修正において,結果のファクトチェックモデルとその有用性を評価する。
論文 参考訳(メタデータ) (2024-12-03T05:21:42Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳(メタデータ) (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。