論文の概要: OpenMTB-Audit: Exposing Over-Refusal and Clinical Expert Perspectives in LLM-Based Molecular Tumor Board Safety Evaluation
- arxiv url: http://arxiv.org/abs/2610.01497v1
- Date: Thu, 01 Oct 2026 11:39:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.091692
- Title: OpenMTB-Audit: Exposing Over-Refusal and Clinical Expert Perspectives in LLM-Based Molecular Tumor Board Safety Evaluation
- Title（参考訳）: OpenMTB-Audit: LLMによる分子腫瘍ボードの安全性評価における過剰な拒絶と臨床専門家の視点
- Abstract要約: 我々は,500例の非小細胞肺癌のオープンソースベンチマークであるOpenMTB-Auditを紹介した。
本症例の83.3-100%に広汎な拒絶が認められた。
MTB-AuditAgentは,証拠検証,欠落情報検出,安全性分類,棄却を分離したフレームワークである。
- 参考スコア（独自算出の注目度）: 1.9680752667468282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Molecular tumor boards integrate genomic findings, clinical context, and therapeutic evidence to support precision oncology. As AI enters this workflow, a key safety challenge is distinguishing truly unsupported recommendations from evidence-supported options that still require oncologist review because of incomplete information, poor ECOG performance status, or other clinical caveats. We introduce OpenMTB-Audit, an open-source benchmark of 500 synthetic non-small cell lung cancer cases spanning five adversarial error categories and four safety labels: Supported, Partially Supported, Unsupported, and Insufficient Information. Across eight large language model configurations, we identify pervasive over-refusal: all LLM configurations failed to retain the Partially Supported label in 83.3-100% of true Partially Supported cases, achieving high aggregate safety scores through label collapse rather than clinically calibrated reasoning. To address this limitation, we developed MTB-AuditAgent, a deterministic seven-module framework separating evidence verification, missing-information detection, safety classification, and abstention. It reduces over-refusal to 6.7% and achieves 91.2% accuracy (95% CI: 88.6-93.6%). A two-oncologist annotation study found disagreement concentrated at the boundary between information sufficiency and treatment optimization, underscoring the need to preserve clinically meaningful distinctions.
- Abstract（参考訳）: 分子腫瘍ボードは、精密腫瘍学をサポートするためにゲノム所見、臨床状況、および治療的証拠を統合する。
AIがこのワークフローに参入する際、重要な安全上の課題は、不完全な情報、ECOGパフォーマンスの低さ、その他の臨床上の問題点のために、オンコロジーのレビューを必要とするエビデンスを支持する選択肢と、真に支持されたレコメンデーションを区別することである。
OpenMTB-Auditは、5つの対向誤差カテゴリと4つの安全ラベルにまたがる500の合成非小細胞肺癌のオープンソースベンチマークである。
8つの大きな言語モデル構成で,全てのLSM構成が完全部分的サポートされた症例の83.3-100%に部分的サポートされたラベルを保持できず,臨床的に校正された推論ではなく,ラベル崩壊による高い集合的安全性スコアを達成できた。
MTB-AuditAgentは,エビデンス検証,情報不足検出,安全分類,棄却を分離した決定論的7モジュールフレームワークである。
過剰拒絶を6.7%に減らし、91.2%の精度(95%CI:88.6-93.6%)を達成する。
2人のオンコロジーの注釈研究は、情報満足度と治療最適化の境界に集中し、臨床的に有意な区別を維持する必要性を強調した。
関連論文リスト
- CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning [37.91882261875461]
大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。
プログレッシブな情報マスキング下でのLCM臨床推論を評価するための人為的ループ・フレームワークであるCLExEvalを紹介した。
論文 参考訳（メタデータ） (2026-06-30T12:56:42Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。
LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。
CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
論文 参考訳（メタデータ） (2026-03-26T09:00:55Z) - Automated Detection of Dosing Errors in Clinical Trial Narratives: A Multi-Modal Feature Engineering Approach with LightGBM [1.0152838128195467]
本研究では,非構造的臨床試験におけるドスリングエラーの自動検出システムを提案する。
提案手法は,従来のNLP(TF-IDF,キャラクタn-gram),密接なセマンティック埋め込み,ドメイン固有の医療パターン,トランスフォーマーベースのスコアにまたがる3,451の特徴を組み合わせたものである。
論文 参考訳（メタデータ） (2026-03-25T14:56:34Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - Automated Rubrics for Reliable Evaluation of Medical Dialogue Systems [19.880569341968023]
大規模言語モデル(LLM)は、幻覚や安全でない提案が患者の安全に直接的なリスクをもたらすという、臨床的な意思決定支援にますます利用されている。
本稿では,インスタンス固有の評価ルーリックの自動生成を目的とした検索拡張型マルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-21T16:40:41Z) - CLIN-LLM: A Safety-Constrained Hybrid Framework for Clinical Diagnosis and Treatment Generation [0.31984926651189866]
LLM(Large Language Model)ベースのシステムは、しばしば医学的な根拠がなく、不確実性を定量化できない。
CLIN-LLMは,マルチモーダル患者エンコーディング,不確実性校正疾患分類,検索・拡張治療生成を統合した安全拘束型ハイブリッドパイプラインである。
論文 参考訳（メタデータ） (2025-10-26T10:11:53Z) - An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [69.46279475491164]
大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。
DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。
このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
論文 参考訳（メタデータ） (2025-06-25T13:42:26Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳（メタデータ） (2023-08-31T00:36:10Z) - Robust and Generalisable Segmentation of Subtle Epilepsy-causing
Lesions: a Graph Convolutional Approach [1.180462901068842]
FCD(Foccal cortical dysplasia)は薬剤抵抗性てんかんの主要な原因であり、手術で治療できる。
そのため、手動の傷口マスクは高価で、限定的であり、ラッター間変動が大きい。
本稿では,グラフ畳み込みネットワーク(GCN)を用いたセマンティックセグメンテーション(セマンティックセグメンテーション,セマンティックセグメンテーション,セマンティックセグメンテーション)の手法を提案する。
論文 参考訳（メタデータ） (2023-06-02T08:56:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。