論文の概要: When Health Assistants Agree Too Readily: A Benchmark of Time-Critical Self-Diagnosis

• arxiv url: http://arxiv.org/abs/2610.27518v1
• Date: Tue, 20 Oct 2026 02:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.589628
• Title: When Health Assistants Agree Too Readily: A Benchmark of Time-Critical Self-Diagnosis
• Title（参考訳）: 医療アシスタントがあまりにも準備が整った時:時間的批判的自己診断のベンチマーク
• Abstract要約: 毎日4000万人以上がChatGPTに健康に関する質問をしている。 モデルが適切な応答挙動を持つかどうかのベンチマークであるSelfDxを紹介する。 注意を要するケースでは,モデルがユーザの自己診断と不適切に一致する傾向にあることがわかった。
• 参考スコア（独自算出の注目度）: 2.4678252786148183
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Every day, more than 40 million people ask ChatGPT a health question, such as whether laptop posture explains a stiff neck and days of pounding headache. Posture is plausible, but meningitis is a time-critical possibility. We introduce SelfDx, a paired benchmark for whether models have the appropriate response behavior, a form of epistemic independence, in health questions where misplaced agreement with the user's self-diagnosis could delay urgent or emergency care. Each of 100 pairs contrasts a caution case, where a serious alternative remains possible, with an agreement case, where the user supplies evidence that rules out the alternative and it is safe for the model to agree. We find across 27 frontier models that they tend to inappropriately agree with the user's self-diagnosis in cases that require caution. Even the best current-generation model reaches only a 77.0% appropriate caution rate on time-critical condition cases. To address this gap, we experiment with three prompt variants that increase appropriate caution but reduce appropriate agreement by 9-35%, indicating excessive caution. In contrast, supervised fine-tuning on 128 balanced examples improves both rates together across three runs. We recommend post-training to improve appropriate caution without making models cautious on every case, with paired evaluation to verify both response behaviors.
• Abstract（参考訳）: 毎日4000万人以上がChatGPTに健康に関する質問をしている。 姿勢は安定しているが、髄膜炎は時間的に重要な可能性である。 本稿では,患者の自己診断との不一致が緊急あるいは緊急ケアを遅らせる可能性がある健康問題において,モデルが適切な反応行動,つまりててんかんの独立性を持っているかどうかをベンチマークする。 100対のそれぞれが、真剣な代替案が引き続き可能であり、ユーザが代替案をルールアウトする証拠を提示し、モデルが同意することが安全である、という警告ケースとは対照的である。 注意を要する場合,27のフロンティアモデルに対して,ユーザの自己診断に不適切に同意する傾向があることが判明した。 最高の世代モデルでさえ、時間クリティカルなケースでは77.0%の適切な注意率にしか達しない。 このギャップに対処するために、適切な注意を増すが、適切な合意を9～35%減らし、過度な注意を喚起する3つの急進的な変種を実験した。 対照的に、128のバランスの取れた例の監督された微調整は、3回のランで両方のレートを共に改善する。 いずれのケースにおいても、モデルに慎重に対応させることなく、適切な注意を喚起し、両方の応答挙動を検証するためのペア評価を行うことを推奨する。

関連論文リスト

• DementiaCare-Bench: A Modality-Validated Video Benchmark [83.92703885588868]
  認知症は世界中で推定5700万人に影響を与える。 ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。 DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
  論文  参考訳（メタデータ） (2026-09-11T14:52:49Z)
• Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
  安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。 これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。 我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
  論文  参考訳（メタデータ） (2026-06-22T16:48:43Z)
• Does RAG Know When Retrieval Is Wrong? Diagnosing Context Compliance under Knowledge Conflict [7.091145002779077]
  文脈駆動分解(英: Context-Driven Decomposition、CDD)は、推論時に動作する信念分解プローブである。 制御された検索競合の介入メカニズムとして機能する。 これら3つのパターンは、標準的なRAGを探索できる構造軸としてコンテキスト準拠を識別する。
  論文  参考訳（メタデータ） (2026-05-14T07:14:19Z)
• AcuityBench: Evaluating Clinical Acuity Identification and Uncertainty Alignment [3.1849948640573245]
  AcuityBenchは、言語モデルがユーザの医療プレゼンテーションから適切なケアの緊急性を特定するかどうかを評価するためのベンチマークである。 ユーザ会話、オンラインフォーラム投稿、臨床ヴィグネット、患者のポータルメッセージにまたがる5つの公開データセットで構成されている。 QA設定での明示的な4方向分類と、ルーリックベースの判定器で評価された自由形式の会話応答の2つの補完的なタスク形式をサポートする。
  論文  参考訳（メタデータ） (2026-05-12T01:39:46Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
  視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。 胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T09:28:22Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Automatic diagnosis of knee osteoarthritis severity using Swin transformer [55.01037422579516]
  変形性膝関節症 (KOA) は膝関節の慢性的な痛みと硬直を引き起こす疾患である。 我々は,Swin Transformer を用いて KOA の重大度を予測する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:49:30Z)
• Robustness to Spurious Correlations via Human Annotations [100.63051542531171]
  本稿では,人間に共通する因果関係の知識を活用して,素因関係に頑健なモデルを構築するための枠組みを提案する。 具体的には、人間のアノテーションを使用して、潜在的な未測定変数でトレーニング例を拡大する。 次に,未測定変数(UV-DRO)に対する分布性に頑健な新たな最適化手法を導入し,テスト時間シフトによる最悪の損失を制御する。
  論文  参考訳（メタデータ） (2020-07-13T20:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。