論文の概要: EviDial: When Correct Depression Predictions Lack Evidence
- arxiv url: http://arxiv.org/abs/2610.27541v1
- Date: Tue, 20 Oct 2026 02:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.594778
- Title: EviDial: When Correct Depression Predictions Lack Evidence
- Title（参考訳）: Evidial: 正しい抑うつ予測は欠落の証拠
- Abstract要約: ラベル契約とエビデンスに基づく評価を区別するベンチマークであるEviDialを紹介する。
EviDialは3つのソースからの382のうつ病対話と2,744の参加者症状細胞から構成される。
- 参考スコア（独自算出の注目度）: 17.709908119464245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depression dialogue benchmarks commonly assess models by comparing predicted symptom labels with clinical scale scores. However, a prediction may agree with a benchmark label even when the dialogue lacks enough evidence to justify it. We introduce EviDial, a benchmark that distinguishes label agreement from evidence-grounded assessment. EviDial comprises 382 depression dialogues from three sources and 2,744 participant-symptom cells, each classified as having absent, partial, conflicting, or sufficient evidence. Because evidence sufficiency lacks a directly observable gold standard, we derive calibrated evidence references from multiple judgments using generalizability theory, many-facet Rasch measurement, and random-effects latent class analysis. Our audit reveals that 82.8% of participant-symptom cells lack sufficient textual evidence for the corresponding symptom assessment, with substantial variation across sources. Across model families and prompting strategies, 69.2%-96.9% of predictions judged correct by benchmark labels are nonetheless unsupported by sufficient dialogue evidence. Further analyses show that strong agreement among LLM evaluators need not reflect independent evidence judgments, underscoring the need to calibrate automated reference panels. These findings demonstrate that label-based evaluation can overestimate evidence-grounded performance by conflating agreement with clinical labels and support in the observed dialogue. EviDial provides a measurement layer for separating these constructs and auditing LLM-based depression assessment more faithfully.
- Abstract（参考訳）: デプレッションダイアログベンチマークは、予測された症状ラベルと臨床尺度スコアを比較してモデルを評価する。
しかし、対話がそれを正当化する十分な証拠がない場合でも、予測はベンチマークラベルに一致するかもしれない。
ラベル契約とエビデンスに基づく評価を区別するベンチマークであるEviDialを紹介する。
エビディアルは3つのソースからの382のうつ病の対話と2,744の参加者症状細胞から構成されており、それぞれが欠席、部分的、矛盾、あるいは十分な証拠を持っていると分類されている。
証拠十分性は直接観測可能な金の基準を欠いているため、一般化可能性理論、多面ラッシュ測定、ランダム効果潜在クラス分析を用いた複数の判断から、校正された証拠参照を導出する。
調査の結果,82.8%の参加者-症状細胞には対応する症状評価のための十分なテキスト的証拠が欠如していることが判明した。
モデルファミリとプロンプト戦略全体で、ベンチマークラベルによって正しいと判断された予測の69.2%-96.9%は、十分な対話証拠によって支持されている。
さらに分析したところ、LCM評価者間の強い合意は独立した証拠判断を反映する必要がなく、自動参照パネルの校正の必要性が強調されている。
以上の結果から,ラベルに基づく評価は,臨床ラベルとの合意を組み合わさることで,根拠に基づく評価を過大評価できる可能性が示唆された。
EviDialはこれらの構造を分離し、LSMに基づく抑うつ評価をより忠実に監査するための測定層を提供する。
関連論文リスト
- BeliefScope: Diagnosing Evidence-Driven Revision and Pressure-Induced Shifts in Large Language Models [2.015177052949575]
言語モデルは、真に関連のある証拠を受け取った後や、無関係な事実を付加する方向性のユーザプレッシャーを受けた後に、同じ提案を修正することができる。
固定目標命題に関連する2つの要因を分離するブラックボックスフレームワークであるBeliefScopeを紹介した。
論文 参考訳（メタデータ） (2026-10-08T06:11:48Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations [3.765860543344957]
証拠保存摂動下での4つのVLMファミリーの診断的ロバスト性について検討した。
以上の結果から,48.9%のケースで予測反転を示すモデルを用いて,プレゼンテーション順序安定性の重大な脆弱性を明らかにした。
論文 参考訳（メタデータ） (2026-08-05T14:09:55Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - Detecting Stealth Sycophancy in Mental-Health Dialogue with Dynamic Emotional Signature Graphs [4.002154823241671]
最終審査員として大規模言語モデルに頼ることなく,多言語対応対話の評価を行う。
直接LLM判定器と対称テキスト類似度測定器は治療品質に不適合であることが判明した。
この問題に対処するため,動的感情署名グラフ(DESG)を提案する。
DESGは、分離された臨床状態を持つ対話ウィンドウを表現し、非対称な臨床幾何学を用いてそれらをスコアする。
論文 参考訳（メタデータ） (2026-05-05T07:56:20Z) - Beyond Literal Summarization: Redefining Hallucination for Medical SOAP Note Evaluation [0.6533091401094101]
評価手法は語彙的忠実度に依存しており, 書字中に明示的に存在しない情報を幻覚としてラベル付けすることが多い。
このような手法は, 臨床的に有効なアウトプットを誤分類し, 幻覚率を膨らませたり, モデル評価を歪ませたりする。
論文 参考訳（メタデータ） (2026-04-16T10:04:14Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - Cognitive bias in LLM reasoning compromises interpretation of clinical oncology notes [28.87443673774825]
我々は,GPT-4連鎖反応から実際のオンコロジーノートへの誤りを推論する階層的な分類法を開発した。
前立腺癌検診の822例に対する分類学的検討を行った。
推論失敗はガイドラインの不一致と潜在的に有害なレコメンデーションと関連づけられた。
論文 参考訳（メタデータ） (2025-11-16T21:13:09Z) - Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models [67.89204055004028]
LVLM(Large Vision-Language Models)は幻覚に悩まされている。
以前の研究では、さまざまなタイプのタスクと評価指標を特徴とする一連のベンチマークが提案されている。
本稿では,既存の幻覚ベンチマークの信頼性と妥当性を評価するために,幻覚ベンチマーク品質測定フレームワーク(HQM)を提案する。
論文 参考訳（メタデータ） (2024-06-24T20:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。