論文の概要: Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought
- arxiv url: http://arxiv.org/abs/2608.24790v1
- Date: Tue, 25 Aug 2026 16:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.105279
- Title: Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought
- Title（参考訳）: 右の診断, 判断的推論:医学的結束の摂動監査
- Abstract要約: 臨床医は医学的推論の証拠としてチェーン・オブ・シークレット(CoT)の理論的根拠を読むが、その役割を果たす鎖が検査されることは稀である。
チェーン・デカップリング・レート(CDR; chain don not register the edit and the answer not flip)は72.9%であり、臨床的に意味のある破壊的な編集、チェーンの破損の正確さは変化せず、CoTプロンプトを除去しても精度は低下しない。
- 参考スコア（独自算出の注目度）: 20.946393640258997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinicians read chain-of-thought (CoT) rationales as evidence of medical reasoning, but whether the visible chain plays that role is rarely tested. General-domain CoT-faithfulness probes ignore clinical cost, and medical LLM evaluations treat the chain as a black box. We close this gap with a medical perturbation audit: a 30-operator battery edits both the chain and the question with clinically motivated operators (severity reversal, negation flip, demographic swap, evidence ablation), paired with a chain-update times answer-flip joint analysis that classifies each model by its failure mode. Applied to 14 LLMs on four medical QA benchmarks, three independent tests converge: the Chain-Decoupling Rate (CDR; chain does not register the edit and the answer does not flip) is 72.9% panel-wide on clinically meaningful destructive edits, chain corruption leaves accuracy unchanged, and removing CoT prompting does not reduce accuracy. Two board-certified clinicians re-annotate N=197 perturbed questions; 98.5% leave the gold defensible. The pattern holds across medical and reasoning fine-tuning and scale; on the closed-source tier, where the chain text is unavailable, the answer-side signals are consistent with the same decoupling. Our framework and CDR provide a reusable yardstick for auditing whether medical CoT is faithful or merely documentation.
- Abstract（参考訳）: 臨床医は、医学的推論の証拠としてチェーン・オブ・シークレット(CoT)の理論的根拠を読むが、その役割を果たす目に見える連鎖が検査されることはめったにない。
一般ドメインのCoT-faithfulnessプローブは臨床コストを無視し、医療用LCM評価はチェーンをブラックボックスとして扱う。
このギャップを医療的摂動監査(英語版)で埋める:30オペレーターのバッテリーは、チェーンと、臨床的に動機づけられたオペレータ(重度反転、否定フリップ、人口統計スワップ、エビデンスアブレーション)の両方を編集し、チェーン更新時の応答フリップ関節分析と組み合わせて、それぞれのモデルを障害モードで分類する。
チェーン・デカップリング・レート (CDR; chain don not register the edit and the answer not flip) は72.9%であり、臨床的に意味のある破壊的な編集、チェーンの破損の正確さの低下、CoTプロンプトの除去は正確さを損なわない。
2人の医師がN=197の難問を再注釈し、98.5%が金の保護を解除した。
このパターンは医学的および推論的微調整とスケールにまたがっており、チェーンテキストが利用できないクローズドソース層では、応答側信号は同じデカップリングと一致している。
われわれのフレームワークとCDRは、医療用CoTが忠実であるか単に文書化されているかを監査するための再利用可能なヤードスティックを提供する。
関連論文リスト
- MedSNIP: Building and Benchmarking Snippet-Level Granularity for Medical Fact Verification [50.13873960887466]
我々はスニペットレベルの医療事実検証のベンチマークであるMedSNIP-Benchを紹介する。
また,自動スニペット生成パイプラインであるMedSNIPを導入する。
MedSNIP-Bench、HealthFC、MedHallu全体で、スニペットレベルの検証は偽クラスF1を保存または改善する。
論文 参考訳（メタデータ） (2026-09-11T14:08:44Z) - When Patients Cut In: Extending Clinical Conversational AI Safety to Interruptions [1.759008116536278]
現在、臨床音声治療薬は日常的な治療に使われており、実際の患者は順番を待たない。
臨床会話AIベンチマークは、患者がエージェントが完了するのを待つとほぼ普遍的に仮定する。
本報告では,対話分析の重複カテゴリを3種類の運用タイプに適応させて,割り込み回復の評価を行う。
論文 参考訳（メタデータ） (2026-08-29T12:54:50Z) - Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis [5.427346259545067]
マルチモーダル大言語モデル(LLM)は、トポロジー、測定、インシデントテキストを組み合わせてグリッド診断を行うことができる。
本稿では,タスク条件の忠実度監査を行うための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-27T15:17:15Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - Agentic AI-based Framework for Mitigating Premature Diagnostic Handoff and Silent Hallucination in Healthcare Applications [17.69274632062373]
オープンエンドの会話エージェントは、早期診断ハンドオフとサイレントな臨床幻覚という、2つの重要な障害モードを伴いがちである。
LLM-as-a-judge'のルーティングを決定論的オーケストレーション制約に置き換えることで、両方の問題に対処するマルチエージェントフレームワークを提案する。
本稿では,150症例を対象に,ラマ3.1-70b-インストラクトモデルを用いたシミュレートされた患者エージェントを用いたシステムの評価を行った。
論文 参考訳（メタデータ） (2026-06-16T15:39:19Z) - What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA [6.163604976615509]
医療RAGはエビデンスベースのクレームを必要とするため、クレームレベルのNLIチェッカーを検索強化されたRLに接続するのは直感的である。
NLIチェッカーのバックエンドをGRPO訓練医療RAGエージェント内のプロセス報酬として比較した。
論文 参考訳（メタデータ） (2026-05-25T16:06:06Z) - CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs [20.96410413299322]
CXR-ContraBenchは、内部のReXVQAスライスと外部のOpenIおよびCheXpertプロトコルにまたがる診断ベンチマークである。
我々は,この失敗を,視覚的証拠と疑問の両方に矛盾する場合でも,否定的回答オプションにモデルを引き付けるという,否定的選択の誘因として研究する。
論文 参考訳（メタデータ） (2026-05-07T07:46:17Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳（メタデータ） (2026-04-12T15:35:08Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - From Conflict to Consensus: Boosting Medical Reasoning via Multi-Round Agentic RAG [65.0203623486525]
大規模言語モデル(LLM)は、医学的質問応答において高い推論能力を示す。
幻覚や時代遅れの知識を生み出す傾向は、医療分野において重大なリスクをもたらす。
既存の手法はノイズの多いトークンレベルの信号に依存しており、複雑な推論に必要なマルチラウンドの改良は欠如している。
論文 参考訳（メタデータ） (2026-02-06T08:25:30Z) - M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding [66.78251988482222]
CoT(Chain-of-Thought)推論は、ステップバイステップの中間推論を奨励することによって、大規模言語モデルの強化に有効であることが証明されている。
医用画像理解のための現在のベンチマークでは、推論パスを無視しながら最終回答に重点を置いている。
M3CoTBenchは、透明で信頼性が高く、診断的に正確な医療用AIシステムの開発を促進することを目的としている。
論文 参考訳（メタデータ） (2026-01-13T17:42:27Z) - MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning [7.167933033102407]
重篤な症状と症状を一定に保ちながら,患者代名詞のみを摂動する反ファクト・ベンチマークであるMEDEQUALQAを紹介する。
我々は、GPT-4.1モデルを評価し、代名詞の変種間の安定性を測定するために、推論トレース間のセマンティックテキスト類似性(STS)を計算する。
以上の結果から,総じて高い類似性(平均STS >0.80)を示した。
論文 参考訳（メタデータ） (2025-10-09T22:12:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。