論文の概要: Being judged through the record: A Rosenhan-inspired test of psychiatric label sensitivity in large language models
- arxiv url: http://arxiv.org/abs/2610.35326v1
- Date: Mon, 26 Oct 2026 12:24:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.919578
- Title: Being judged through the record: A Rosenhan-inspired test of psychiatric label sensitivity in large language models
- Title(参考訳): ローゼンハンに触発された大規模言語モデルにおける精神医学的ラベル感受性テスト
- Abstract要約: 大きな言語モデル(LLM)の臨床的意思決定への統合は、診断バイアスに関する未解決の問題を引き起こす。
臨床的ビグネットでは, 診断履歴の因子的変化(先行診断は認めなかったが, 統合失調症の先行診断は認められなかった) , 現況確認状態(声と持続音声) が認められた。
退院を裏付ける証拠が得られたとき、統合失調症の診断を追加すると、継続入院の勧告が5倍近く増えた。
- 参考スコア(独自算出の注目度): 4.817429789586127
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The integration of large language models (LLMs) into clinical decision-making raises unresolved questions regarding diagnostic bias. We investigate whether a documented psychiatric history alters LLM recommendations when the current clinical evidence is identical. Using a counterfactual experiment inspired by Rosenhan's 1973 field study, we factorially varied diagnostic-history condition (no prior diagnosis stated vs. prior schizophrenia diagnosis) and current-evidence condition (voices ceased vs. voices persisted) within a clinical vignette. Across five LLMs (GPT-5.6 Sol, Claude Sonnet 5, Gemini 3.6 Flash, Grok 4.6, and Mistral Large 2512), we generated 20,000 model responses across independent queries. When evidence supported discharge, adding a prior schizophrenia diagnosis increased recommendations for continued hospitalization nearly fivefold, from 4.7% to 22.3% (risk difference, 17.5 percentage points; 95% CI, 16.2-18.8). This shift occurred across all five models (risk-difference range, 10.4-34.4 percentage points). In the same condition, reference concordance decreased from 95.3% to 77.7%, while stated decision confidence increased. Across all model-by-evidence contrasts, confidence increases corresponded to Cohen's d values of 0.35-1.09. Signal-detection analyses showed that the prior diagnosis shifted the decision criterion toward hospitalization across all five models and reduced discrimination between the two current-evidence conditions in three of them. When current evidence supported continued hospitalization, the label increased the recommendation for hospitalization from 92.6% to 97.0%.
- Abstract(参考訳): 大きな言語モデル(LLM)の臨床的意思決定への統合は、診断バイアスに関する未解決の問題を引き起こす。
文献に記録された精神医学的歴史が、現在の臨床証拠が同一である場合にLLM勧告を変更するかどうかを検討する。
ローゼンハンの1973年のフィールドスタディにインスパイアされた反ファクト実験を用いて,臨床ヴィグネット内の診断・歴史条件(前診断と前統合失調症診断とは無関係)と現在の証拠条件(声が止まったか、声が持続したか)を因子的に変化させた。
5つのLCM(GPT-5.6 Sol, Claude Sonnet 5, Gemini 3.6 Flash, Grok 4.6, Mistral Large 2512)で、独立したクエリ間で20,000のモデルレスポンスを生成しました。
証拠が退院を支持したとき、以前の統合失調症の診断を追加すると、継続入院の勧告が4.7%から22.3%(リスク差、17.5ポイント、95%CI、16.2-18.8)まで5倍近く増加した。
このシフトは5つのモデル(リスク差範囲、10.4-34.4ポイント)で発生した。
同じ条件下では、基準一致は95.3%から77.7%に減少し、決定の信頼度は上昇した。
すべてのモデル・バイ・エビデンス・コントラストにおいて、自信の増大はコーエンのdの0.35-1.09と一致する。
信号検出分析の結果, 先行診断は5モデルすべてで入院の判定基準を転換し, 現行の2つの状態の区別を3つに減らした。
現在の証拠が継続入院を支持すると、このラベルは入院勧告を92.6%から97.0%に増やした。
関連論文リスト
- Language-model ratings of depression reflect the rater more than the patient [13.033343345709207]
言語モデルはタイヤレスで一貫した評価を約束するが、正確なラッカーは個人について意見が一致しないだろうか?
モデル選択では、総症状スコアのばらつきの30.0%、安定した参加者差の10.5%が説明されている。
受信機操作特性曲線 (AUC) >= 0.70 の領域がランダムに描画された2つのラッカーは、平均40%の被験者のスクリーニング決定に異を唱えた。
論文 参考訳(メタデータ) (2026-10-06T15:08:17Z) - Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。
NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。
セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
論文 参考訳(メタデータ) (2026-08-12T21:02:59Z) - RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。
RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。
検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
論文 参考訳(メタデータ) (2026-07-25T16:58:10Z) - Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs [0.0]
構造化されたエビデンス・サフィリエイトが不確実な過度な回答を減少させるかどうかを検証した。
盲目の臨床医は、一次審査員を高感度(1.00)、低特異性(0.55)の画面であり、校正足場ゲインではないと特徴づけた。
一致した制御は、円度を判断するのではなく、真の行動変化を示した。
論文 参考訳(メタデータ) (2026-07-20T15:53:02Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。
LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。
CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
論文 参考訳(メタデータ) (2026-03-26T09:00:55Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳(メタデータ) (2026-03-14T23:47:53Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳(メタデータ) (2026-03-02T00:50:39Z) - The Value Sensitivity Gap: How Clinical Large Language Models Respond to Patient Preference Statements in Shared Decision-Making [0.6768558752130311]
大規模言語モデル (LLM) は意思決定支援ツールとして臨床に導入されているが, 患者価値の明示的な記述に対する対応方法はまだ検討されていない。
我々は,98,759人の未確認メディケイド遭遇ノートから得られた臨床ヴィニグレットを用いて因子分析を行った。
全てのモデルでは、非コントロール試験の100%で患者の値を認めたが、実際の推奨シフトは控えめであった。
論文 参考訳(メタデータ) (2026-02-12T21:42:21Z) - Evolving Diagnostic Agents in a Virtual Clinical Environment [75.59389103511559]
本稿では,大規模言語モデル(LLM)を強化学習を用いた診断エージェントとして訓練するためのフレームワークを提案する。
本手法は対話型探索と結果に基づくフィードバックによって診断戦略を取得する。
DiagAgentはDeepSeek-v3やGPT-4oなど、最先端の10のLLMを著しく上回っている。
論文 参考訳(メタデータ) (2025-10-28T17:19:47Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳(メタデータ) (2025-02-26T02:30:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。