論文の概要: The strength of clinical evidence is recoverable from language model representations but not from their stated grades
- arxiv url: http://arxiv.org/abs/2606.29034v1
- Date: Sat, 27 Jun 2026 18:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.765504
- Title: The strength of clinical evidence is recoverable from language model representations but not from their stated grades
- Title（参考訳）: 臨床証拠の強さは言語モデル表現から回復できるが、それらの記載された成績からは回復できない
- Abstract要約: 大規模な言語モデルは、ますます臨床証拠を要約している。
臨床モデルは、真実と異なる証拠の強さを登録し、質問されたときにそれを記録し、そのような信号は語彙的である可能性がある。
何人かの開発者からローカルでオープンウェイトなLLMを22個テストしました。
- 参考スコア（独自算出の注目度）: 0.6430130814523796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly summarize clinical evidence, where a claim's weight depends on how strongly it is supported. Yet these models convey confidence poorly, and properties they never state, such as truth, are often readable from their activations. Whether a clinical model registers evidence strength, distinct from truth, and states it when asked is untested, and any such signal could be lexical. We compiled 45,134 clinical claims from six public sources, harmonized 20,611 into a four-level evidence grade under three independent frameworks, and tested 22 local, open-weight LLMs from several developers (0.6-70 billion parameters; general, medical, and reasoning), with lexical, truth, and cross-framework controls. A linear estimator recovered the grade in every model (median AUROC 71.8), yet decodability did not rise with scale and was weakest in reasoning models. The grade the models stated fell to chance, 25-27 percentage points below the estimator. The recoverable signal was largely lexical and did not transfer across topics or frameworks, yet it was distinct from factual truth and still flagged weakly supported claims (AUROC 69.2). Clinical LLMs thus carry an ordered evidence-strength signal they do not express, so their stated grades fail to convey a claim's support even when it is recoverable from their representations and text.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、主張の重みがどれだけ強く支持されているかによって、ますます臨床証拠を要約している。
しかし、これらのモデルは信頼度が低く、真理のような決して述べない性質は、しばしばアクティベーションから読み取ることができる。
臨床モデルが真理と異なる証拠の強さを登録し、質問された時にそれを記述するかどうかは未確認であり、そのようなシグナルは語彙的である可能性がある。
我々は6つの公開資料から45,134件の臨床的主張を収集し、20,611件を3つの独立したフレームワークで4段階の証拠に調和させ、複数の開発者(一般,医学,理学,理学)から22件の局所的オープンウェイトLSM(一般,医学,理学)を語彙的,真理的,クロスフレーム的コントロールで検証した。
線形推定器は全てのモデル(中型AUROC 71.8)の階調を回復したが、縮退性はスケールとともに上昇せず、推理モデルでは最も弱かった。
評価対象モデルのうち25～27ポイントが予想値を下回った。
回復可能な信号は概ね語彙的であり、トピックやフレームワーク間では転送されなかったが、事実とは異なっており、依然として弱い支持された主張(AUROC 69.2)を掲げていた。
したがって、臨床LSMは命令された証拠強度のシグナルを伝達するので、記載されたグレードは、表現やテキストから回復可能であったとしても、クレームの支持を伝達することができない。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning [37.91882261875461]
大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。
プログレッシブな情報マスキング下でのLCM臨床推論を評価するための人為的ループ・フレームワークであるCLExEvalを紹介した。
論文 参考訳（メタデータ） (2026-06-30T12:56:42Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。
誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。
本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
論文 参考訳（メタデータ） (2026-06-10T16:27:26Z) - When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations [1.0152838128195467]
大規模言語モデル (LLMs) は、臨床質問応答、診断支援、報告要約などのタスクのために医療でますます使われている。
彼らの約束にもかかわらず、これらのモデルは語彙的および構文的両方の微妙な急激な摂動に対して非常に敏感であり、安全クリティカルな臨床応用に重大なリスクをもたらす。
摂動を自然型, 逆型に分類し, モデル整合性, 精度, 信頼性に及ぼす効果について検討した。
論文 参考訳（メタデータ） (2026-06-05T13:07:11Z) - IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings [0.0]
ナイジェリアでは、未分化の胎児病がプライマリケアの外来訪問の主な原因となっている。
大規模言語モデル(LLM)の臨床トリアージ推論を評価するための検証済みのベンチマークは存在しない。
IywBench v1.0は8つの女性病カテゴリにまたがる200種類の合成臨床ヴィニネットのデータセットである。
論文 参考訳（メタデータ） (2026-05-22T10:25:51Z) - The Provenance Gap in Clinical AI: Evidence-Traceable Temporal Knowledge Graphs for Rare Disease Reasoning [1.4676581933580473]
最前線の大規模言語モデルは臨床的に正確な出力を生成するが、それらの引用は製造されている。
HEG-TKGは,4つのPubMedレコードと高品質な階層化と1,280の病的軌跡を持つキュレートされたソースから構築された時間的知識グラフに臨床的主張を基礎づけるシステムである。
論文 参考訳（メタデータ） (2026-04-18T19:10:12Z) - Towards Responsible Multimodal Medical Reasoning via Context-Aligned Vision-Language Models [11.019570079187552]
医用視覚言語モデル (VLM) は放射線学のタスクにおいて強い性能を示すが、しばしば流動的だが弱弱な結論をもたらす。
我々は、診断結果を生成する前に、異種の臨床的証拠間での合意を強制する文脈整合推論フレームワークを導入する。
論文 参考訳（メタデータ） (2026-04-09T23:09:38Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳（メタデータ） (2025-02-26T02:30:44Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。