論文の概要: Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

• arxiv url: http://arxiv.org/abs/2605.30590v1
• Date: Thu, 28 May 2026 21:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.247323
• Title: Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents
• Title（参考訳）: 臨床用LLMおよび薬剤の能力プロファイルを隠蔽した非現実的評価
• Authors: Matt Turk,
• Abstract要約: 因果感受性スコア(英: Causal Sensitivity Score, CSS)は、5つの臨床的に有意な範囲で腫瘍の腫瘍の患者を変異させる事前登録された介入指標である。 CSSは、0,0.5,1.0スケールを使用して、各モデルが事前登録された正しい方向でレコメンデーションを更新するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two clinical AI systems can score nearly identically on coverage-based rubrics yet behave radically differently when their patient inputs change: one updates its recommendations to match the new clinical signal, while the other produces the same output regardless. We introduce the Causal Sensitivity Score (CSS), a pre-registered interventional metric that mutates oncology tumor-board cases along five clinically meaningful dimensions - biomarker flips, prior-treatment failures, biomarker removals, surgery-status changes, and stage perturbations - and scores whether each model updates its recommendations in the pre-registered correct direction using a {0, 0.5, 1.0} scale. Benchmarked against the Consensus Match Score (CMS), a coverage-based weighted recall metric, six frontier models from three labs evaluated in single-shot inference across 224 cases rank in nearly opposite orders: all six models change rank, the CMS-worst model becomes CSS-best, and one upper-mid CMS model ranks last on CSS. We further surface a universal safety blind spot: every frontier model fails on surgery-status interventions (at most 17.2% CSS on Family D), a finding CMS does not expose. The metric also transfers to tool-using agents: in a ReAct-style experiment, tool use improves CSS for five of six models (+2.5 to +20.3 percentage points), yet the lowest-CSS model retrieves the same chart sections and still fails to update its recommendations - revealing a structural responsiveness deficit visible only under counterfactual evaluation. Cross-judge replication and three-rater medical-professional validation confirm the aggregate findings. Interventional pre-registered metrics like CSS complement coverage-based evaluation for clinical AI agents: they capture responsiveness that coverage metrics miss and offer a candidate dense reward signal for future agentic RL systems.
• Abstract（参考訳）: 2つの臨床AIシステムは、カバーベースルーブリックにほぼ同じスコアを付けることができるが、患者の入力が変わると根本的に異なる振る舞いをする。 バイオマーカーフリップ(biomarker flips),前処置失敗(pre-treatment failures),バイオマーカー除去(biomarker removals),オペレーショナル・スタットの変化(Odeo-status changes),ステージ摂動(stage perturbations)の5つの臨床的側面に沿って,腫瘍の腫瘍群を変異させる事前登録介入尺度であるCausal Sensitivity Score(CSS)を導入し,各モデルが,<0,0.5,1.0}スケールで事前登録された正しい方向の勧告を更新するか否かを評価する。 カバレッジベースの重み付きリコールメトリックであるConsensus Match Score(CMS)に対するベンチマークでは、224ケースの単発推論で評価された3つの実験室の6つのフロンティアモデルがほぼ反対の順序でランク付けされている。 すべてのフロンティアモデルは(ファミリーDの最大17.2%のCSSにおいて)手術統計の介入で失敗し、発見されたCMSは公開しない。 ReActスタイルの実験では、ツールの使用は6つのモデルのうち5つのCSS(+2.5から+20.3ポイント)を改善するが、最低のCSSモデルは同じチャートセクションを取得し、その推奨を更新することができない。 クロスジャッジの再現と3レーターの医療専門家による検証により,集計結果が確認された。 CSSのような伝統的な事前登録されたメトリクスは、臨床AIエージェントに対するカバレッジベースの評価を補完する。

関連論文リスト

• ProtoMedAgent: Multimodal Clinical Interpretability via Privacy-Aware Agentic Workflows [7.27267618572654]
  ProtoMedAgentは、反復的なゼロ段階のテスト時間最適化問題としてマルチモーダルな臨床報告を定式化する。 オンライン生成は、厳密な集合論微分と反射的スクリーブ・クリティカルループによって制限される。 ProtoMedAgentは91.2%の比較集合Fithfulnessを実現し、標準RAG(46.2%)を根本的に上回る
  論文  参考訳（メタデータ） (2026-05-13T20:57:37Z)
• Quantifying Explanation Consistency: The C-Score Metric for CAM-Based Explainability in Medical Image Classification [5.127836966483091]
  CAM(Class Activation Mapping)法は、医用画像における深層学習分類器の視覚的説明を生成するために広く用いられている。 既存の評価フレームワークは、ラジオロジストアノテーションに対する局所化忠実度を用いて、説明が正しいかどうかを評価する。 Cスコア(Consistency Score, Consistency Score, C-Score, C-Score, C-Score, C-Score, C-Score, C-Score, C-Score)を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:47:31Z)
• PathGLS: Evaluating Pathology Vision-Language Models without Ground Truth through Multi-Dimensional Consistency [22.13541624406203]
  VLM(Vision-Language Models)は、解釈可能な画像解析、自動レポート、スケーラブルな意思決定支援を可能にすることにより、計算病理学において大きな可能性を秘めている。 このギャップに対処するために,3次元にわたる病理VLMを評価する新しい基準フリー評価フレームワークPathGLSを提案する。 The Experiments on Quilt-1M, TCGA, REG2025, PathMMU and TCGA-Sarcoma datasets showed the superiority of PathGLS。
  論文  参考訳（メタデータ） (2026-03-17T04:25:55Z)
• MedForget: Hierarchy-Aware Multimodal Unlearning Testbed for Medical AI [66.0701326117134]
  MedForgetは、階層型を意識したマルチモーダルなアンラーニングテストベッドで、準拠する医療AIシステムを構築する。 既存の手法は,診断性能を低下させることなく,完全かつ階層性に配慮した忘れの解決に苦慮していることを示す。 階層レベルのコンテキストをプロンプトに徐々に追加する再構成攻撃を導入する。
  論文  参考訳（メタデータ） (2025-12-10T17:55:06Z)
• Transparent Early ICU Mortality Prediction with Clinical Transformer and Per-Case Modality Attribution [42.85462513661566]
  ICU滞在後48時間から, 生理的時系列測定と非構造的臨床記録とを融合した, 軽量で透明なマルチモーダルアンサンブルを提案する。 ロジスティック回帰モデルは、バイタル用双方向LSTMとノート用微調整された臨床ModernBERT変換器の2つのモード固有モデルからの予測を組み合わせる。 MIMIC-IIIベンチマークでは、遅延融合アンサンブルは、よく校正された予測を維持しながら、最高の単一モデルに対する差別を改善する。
  論文  参考訳（メタデータ） (2025-11-19T20:11:49Z)
• R$^{2}$Seg: Training-Free OOD Medical Tumor Segmentation via Anatomical Reasoning and Statistical Rejection [45.33258156568741]
  医療画像セグメンテーションの基礎モデルは、アウト・オブ・ディストリビューション・シフトの下で苦労する。 R$2$Segは強力なOOD腫瘍セグメンテーションのためのトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2025-11-16T17:15:52Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• Preserving Privacy, Increasing Accessibility, and Reducing Cost: An On-Device Artificial Intelligence Model for Medical Transcription and Note Generation [0.0]
  Llama 3.2 1Bモデルを用いて,プライバシ保護・オンデバイス医療転写システムの開発と評価を行った。 このモデルは、完全にブラウザ内で完全なデータ主権を維持しながら、医療転写から構造化された医療メモを生成することができる。
  論文  参考訳（メタデータ） (2025-07-03T01:51:49Z)
• Tiered Agentic Oversight: A Hierarchical Multi-Agent System for Healthcare Safety [39.9193491638205]
  Tiered Agentic Oversight (TAO)は階層的なマルチエージェントシステムで、階層化された自動監視を通じてAIの安全性を高める。 臨床階層(例えば、看護師-物理学者-専門医)にインスパイアされたTAOは、複雑性に基づいた専門エージェントにタスクをルーティングする。 実験によると、TAOは5つの医療安全ベンチマークのうち4つでシングルエージェントや他のマルチエージェントシステムを上回っ、最大8.2%改善されている。
  論文  参考訳（メタデータ） (2025-06-14T12:46:10Z)
• Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images [67.66644395272075]
  本稿では,幾何学的アウト・オブ・ディストリビューションデータに直面する場合の,最先端のセマンティックセマンティックセマンティクスモデルの最初の解析を行う。 本稿では, 汎用性を高めるために, 有機移植(Organ Transplantation)と呼ばれる拡張技術を提案する。 我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%のSOAモデル性能を改善し、実際のOODテストデータに対して、分配内パフォーマンスのレベルでのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T19:13:15Z)
• Improved inter-scanner MS lesion segmentation by adversarial training on longitudinal data [0.0]
  ホワイトマター病変進展の評価は,MS患者の経過観察において重要なバイオマーカーである。 現在の自動病変分割アルゴリズムは、MRIスキャナーやプロトコルの違いに関連する画像特性の変化の影響を受けやすい。 スキャン間研究におけるMS病変のセグメンテーションの整合性を改善するモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-03T16:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。