論文の概要: Incidental information contaminates patient notes and disrupts clinical reasoning in large language models
- arxiv url: http://arxiv.org/abs/2610.08585v1
- Date: Tue, 06 Oct 2026 15:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.09675
- Title: Incidental information contaminates patient notes and disrupts clinical reasoning in large language models
- Title(参考訳): インシデント情報によって患者ノートが汚染され、大規模言語モデルにおける臨床推論が阻害される
- Abstract要約: 576人の患者とクリニックの対話では、フロンティアモデルが小文字の交換を35%の音符に挿入していることが判明した。
57のモック・コンサルテーションでは、10dBの患者からのバックグラウンド・スピーチが48.2%に漏れた。
- 参考スコア(独自算出の注目度): 0.9515976447391687
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly relied upon to support ambient documentation and clinical reasoning. Here we examine the impact of a failure mode shared between these two applications by assessing their sensitivity to information incidental to the patient encounter. In 576 patient-clinician dialogues, we found that frontier models inserted small-talk exchanges into 35% of notes, while mean quality scores changed by at most 0.20 points on five-point scales. In 3.7% of frontier notes, models misattributed the asides or used them clinically. In 57 mock recorded consultations, background speech from a separate patient encounter at -10 dB leaked into 48.2% of transcripts, with contamination detected in 5.3% of downstream notes generated by four open-weight models. We propose a dual encoding hypothesis of clinical reasoning and distraction in LLMs, with preliminary evidence that LLM components associated with disruption by incidental information also support clinical reasoning. These findings support evaluating resistance to incidental information before clinical use, with safeguards that prevent contamination while preserving clinical reasoning.
- Abstract(参考訳): 大きな言語モデル(LLM)は、周囲のドキュメントや臨床推論をサポートするためにますます頼りになっている。
本稿では,これら2つのアプリケーション間で共有される障害モードの影響について,患者の遭遇に付随する情報に対する感度を評価することによって検討する。
576人の患者とクリニックの対話では、フロンティアモデルが小文字の交換を35%の音符に挿入し、平均品質スコアは5点の尺度で0.20ポイント変化した。
フロンティアノートの3.7%では、モデルは副産物を誤解させたり、臨床的に使用した。
57件のモック記録では、10dBの患者からのバックグラウンドスピーチが48.2%の写本に流出し、4つのオープンウェイトモデルによって生成された下流ノートの5.3%に汚染が検出された。
LLMにおける臨床推論と注意散らしの二重符号化仮説を提案し, インシデント情報による破壊に関連するLCM成分が臨床推論にも有効であることを示す予備的証拠を示した。
これらの知見は,臨床使用前の偶発的情報に対する抵抗性を評価することをサポートし,臨床理由を保ちながら汚染を防止できる。
関連論文リスト
- Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences [0.0]
大規模言語モデルは、医療提供者、患者、給与者の臨床試験結果の要約にますます使われているが、その幻覚化傾向は、この高い文脈において重大なリスクをもたらす。
本研究は, 利害関係者3名を対象に, LLM生成臨床治験サマリーの忠実度を評価するためのベンチマーク評価フレームワークを提案する。
GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashを1,800個の生成したサマリーに対して、クロスエンコーダ自然言語推論(NLI)モデルを用いてベースライン測定を行った。
論文 参考訳(メタデータ) (2026-07-10T19:29:26Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Detecting Clinical Discrepancies in Health Coaching Agents: A Dual-Stream Memory and Reconciliation Architecture [71.46525715889656]
汎用エージェントメモリシステムは、ユーザの最新のステートメントで古い事実を上書きすることでコヒーレンスを最適化する。
本稿では,患者の物語を構造化された臨床記録から厳密に分離するDual-Stream Memory Architectureを提案する。
675日間のウェルネスコーチングセッションにおいて,26名の患者を対象にこのアーキテクチャを評価した。
論文 参考訳(メタデータ) (2026-04-29T17:59:28Z) - How Robust Are Large Language Models for Clinical Numeracy? An Empirical Study on Numerical Reasoning Abilities in Clinical Contexts [11.740513556909542]
ClinicalNumRobBenchは、1,624のコンテキスト検索インスタンスのベンチマークで、基調的な回答がある。
本研究は, 値検索, 算術演算, リレーショナル比較, 集約の4種類の臨床数値性を評価する。
論文 参考訳(メタデータ) (2026-04-13T07:44:41Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳(メタデータ) (2026-03-14T23:47:53Z) - ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。
本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。
実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
論文 参考訳(メタデータ) (2025-12-29T12:58:58Z) - Impact of Large Language Model Assistance on Patients Reading Clinical Notes: A Mixed-Methods Study [46.5728291706842]
臨床記録をより読みやすくするために,大言語モデル(LLM)を用いた患者対応ツールを開発した。
乳がんの既往歴のある患者から寄贈された臨床記録と臨床医からの合成ノートを用いて,本ツールの試験を行った。
論文 参考訳(メタデータ) (2024-01-17T23:14:52Z) - Clinical Camel: An Open Expert-Level Medical Language Model with
Dialogue-Based Knowledge Encoding [31.884600238089405]
臨床研究に適したオープン・大型言語モデル(LLM)であるクリニカル・カメルについて述べる。
QLoRAを用いてLLaMA-2を微調整し,医療用LCMの医療用ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-05-19T23:07:09Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。