論文の概要: MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection

• arxiv url: http://arxiv.org/abs/2611.05340v1
• Date: Tue, 03 Nov 2026 18:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 12:54:46.097061
• Title: MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection
• Title（参考訳）: MedPhysBench:医学物理計算と誤り検出における言語モデルの評価ベンチマーク
• Abstract要約: ビーム校正またはモニターユニット計算における1つのエラーは、それで治療されたすべての患者に影響を与える可能性がある。 MedPhysBenchは、放射線治療、診断イメージング、核医学、放射線防護において、計算項目のシード生成器を10個持っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical physicists turn a prescription into a delivered dose and check one another's calculations, because one error in a beam calibration or a monitor-unit (MU) calculation can affect every patient treated with it. MedPhysBench has ten seeded generators of calculation items in radiation therapy, diagnostic imaging, nuclear medicine and radiation protection, up to clinical tasks such as a TG-51 calibration worksheet. Reference answers come from code implementing the governing protocols, and a grader converts units and applies tolerance bands. From the same inputs, separate checking items test error detection, showing a colleague's worksheet or only the colleague's result, half correct and half with one planted error. On a held-out test split of 1,200 items (half for two models), 12 models scored 33.3 to 100.0% on calculation. Of the nine answers graded incorrect for the four best (99.3-100.0%), five contained model errors and four followed NCRP Report 151 on points our items misstate or leave open. Below them, most models did worst on level-3 clinical tasks, and Claude Sonnet 5.5 omitted the inverse-square correction in 19 of 20 isocentric MU items. Five models detected at least 96.7% of mostly large planted errors with at most 4% false alarms; for four of the other seven, checking only the result raised false alarms significantly. In an exploratory targeted test with 20 public cases of an omitted inverse-square correction, the three best models tested caught it in every worksheet, and three weaker models accepted 16 to 18 of 20 planted worksheets, one of them while applying the correction in most of its own calculations. Claude Opus 5.5 accepted 6 of 20 wrong results, although it applied the correction in all 20 of its own. We report the effect of two problems in our shielding items, found after the runs, and release the code, per-item outcomes and targeted-test responses.
• Abstract（参考訳）: なぜなら、ビーム校正やモニターユニット(MU)計算の1つの誤りが、治療を受けたすべての患者に影響を与える可能性があるからである。 MedPhysBenchは、放射線治療、診断、核医学、放射線防護において、TG-51校正ワークシートのような臨床タスクまで、計算項目の10個のシード生成器を持っている。 参照された回答は、管理プロトコルを実装するコードから得られ、グレーダはユニットを変換し、トレランスバンドを適用します。 同じ入力から、チェック項目を別々にチェックしてエラーを検知し、同僚のワークシートや同僚の結果のみを表示する。 1200項目(半分は2モデル)の持ち込みテストでは、12モデルが33.3から100.0%のスコアを得た。 9つの回答は4つのベスト(99.3-100.0%)に対して不正確で、5つのモデルエラーと4つのNCRP Report 151に続き、項目が不適切なか、あるいは開いているかの点で評価された。 その下には、ほとんどのモデルがレベル3の臨床的タスクで最悪であり、Claude Sonnet 5.5は20の同心MU項目のうち19の逆二乗補正を省略した。 5つのモデルは、ほとんど大きな植込み誤差の96.7%以上を検知し、少なくとも4%の誤報が検出された。 省略された逆二乗補正の公的な事例20件を対象とした探索目標試験では、試験された3つの最良のモデルがすべてのワークシートで捕捉され、3つの弱いモデルが20の植木ワークシートのうち16から18を受理した。 クロード・オプス5.5は間違った結果20点のうち6点を受け入れたが、修正は20点すべてで適用された。 我々は,実行後に見つかった保護項目に対する2つの問題の影響を報告し,コードのリリース,イテムごとの結果,ターゲット-テスト応答について報告する。

関連論文リスト

• Trajectory-Guided Steering: Mitigating Spurious Feature Bias in Clinical Classification [2.3527416107195998]
  大規模言語モデルは臨床分類において急激な特徴に依存している。 本稿では、軌道のみから予測を正すか否かを判断する軌道誘導ステアリング(TGS)を提案する。 TGSは17.7%のエラーを修正し、正確な予測の1.3%を破った。
  論文  参考訳（メタデータ） (2026-10-15T20:22:04Z)
• Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams [0.34376560669160394]
  私たちは2つの理由から、正確さが間違った証明書であると主張している。 まず、動作に必要な正確性は、間違ったアクションコストに依存するため、バーはモジュールではなく、デプロイメントに属します。 モジュールをデプロイすることなく,エラーコスト,ペアインタラクション,および測定依存性の価格を設定できるBlind-Spot Gateを用いて,デプロイの認証を提案する。
  論文  参考訳（メタデータ） (2026-10-13T18:50:10Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models [0.0]
  KAISENは、サブグループの成層、不均質の測定、メカニズム診断、ポストホック緩和、ドリフトモニタリングを含む5段階の監査パイプラインである。 すべての結果は、既知の根拠の真実と共に合成され、臨床的妥当性が確立されない。
  論文  参考訳（メタデータ） (2026-07-30T17:57:18Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。