論文の概要: MedPRESS: A Multi-turn Benchmark for Patient-Pressure-Induced Medical Sycophancy in LLMs

• arxiv url: http://arxiv.org/abs/2608.02520v1
• Date: Mon, 03 Aug 2026 17:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.728177
• Title: MedPRESS: A Multi-turn Benchmark for Patient-Pressure-Induced Medical Sycophancy in LLMs
• Title（参考訳）: Medpress : LLMにおける患者の血圧変動のマルチターンベンチマーク
• Authors: Saman Sarker Joy, Niloy Farhan,
• Abstract要約: Medpressは、大言語モデル(LLMs)における患者の血圧誘発性を測定するためのマルチターンベンチマークである。 我々は、構造化判定と安全性に着目した指標を用いて、一般、医療領域、軽量、大規模、オープンウェイト、プロプライエタリの20のLCMを評価した。 以上の結果から,患者プレッシャーを繰り返した場合,モデルが安全でない合意に向かって頻繁に移行することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for health-related advice. Existing research measures their safety with static questions rather than pressured patient-facing conversations. We introduce MedPRESS, a multi-turn benchmark for measuring patient-pressure-induced sycophancy in LLMs. MedPRESS contains 600 medically grounded five-turn dialogues across three scenario families: medication and treatment demand, personal health self-care, and symptom triage and care resistance. Each dialogue begins with a health query and escalates through personal experience, social proof, external evidence claims, and direct adversarial challenge. We evaluate 20 LLMs across general, medical-domain, lightweight, large, open-weight, and proprietary families using structured judging and safety-focused metrics. Results show that models frequently shift toward unsafe agreement under repeated patient pressure, with substantial variation across model families, model scale, and prompt type. Anti-sycophancy prompting improves robustness for several models, but does not eliminate unsafe agreement. MedPRESS highlights a critical gap in medical LLM evaluation: safe medical knowledge is not enough unless models can maintain it under conversational pressure.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、健康に関するアドバイスにますます使われています。 既存の研究は、患者との会話をプレッシャーにかけるのではなく、静的な質問で安全性を計測している。 我々は,LLMにおける患者の血圧誘発性を測定するためのマルチターンベンチマークであるMedPRESSを紹介する。 Medpressには、薬と治療の需要、パーソナルヘルスのセルフケア、症状のトリアージとケアの抵抗の3つのシナリオファミリに600の医療的根拠のある5ターンの対話が含まれている。 各対話は、健康質問から始まり、個人的な経験、社会的証明、外部証拠の主張、直接敵の挑戦を通じてエスカレートする。 我々は、構造化判定と安全性に着目した指標を用いて、一般、医療領域、軽量、大規模、オープンウェイト、プロプライエタリの20のLCMを評価した。 以上の結果から, モデルファミリー, モデルスケール, プロンプトタイプに有意な変動がみられ, 患者プレッシャーを繰り返した場合, モデルが安全でない合意に向かって頻繁に移行することが示唆された。 抗梅毒の促進はいくつかのモデルの堅牢性を改善するが、安全でない合意を排除しない。 安全な医療知識は、モデルが会話の圧力の下でそれを維持できなければ十分ではない。

関連論文リスト

• When Medical Safety Alignment Fails: A Benchmark for Evaluating LLMs on High-Risk Medical Queries [35.893190386172854]
  textscMedHarmは、リスクの高い医療安全ベンチマークであり、10の安全クリティカルなカテゴリに1100の医療的根拠のあるクエリがある。 textscMedHarmは、直接的な助けではなく、拒絶、注意、安全なリダイレクトを必要とする現実的な臨床、教育、技術的プロンプトをターゲットにしている。
  論文  参考訳（メタデータ） (2026-05-26T14:39:18Z)
• Beyond Idealized Patients: Evaluating LLMs under Challenging Patient Behaviors in Medical Consultations [2.337503919179969]
  実際の医療相談で一般的に発生する患者行動について検討する。 各動作について、安全でない応答をキャプチャする具体的な障害基準を指定する。 患者発話に対する応答について,オープンおよびクローズドソースのLCMについて検討した。
  論文  参考訳（メタデータ） (2026-03-31T07:42:07Z)
• MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
  MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
  論文  参考訳（メタデータ） (2026-03-13T22:30:26Z)
• Shallow Robustness, Deep Vulnerabilities: Multi-Turn Evaluation of Medical LLMs [9.291589998223696]
  MedQA-Followupは,医療質問応答におけるマルチターンロバスト性を評価するためのフレームワークである。 MedQAデータセットの制御介入を用いて、5つの最先端LCMを評価する。 モデルは浅瀬の摂動下では合理的に良好に機能するが、マルチターン設定では深刻な脆弱性が現れる。
  論文  参考訳（メタデータ） (2025-10-14T08:04:18Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine [41.71754418349046]
  安全で信頼性の高い医療AIのための5つの重要な原則と10の特定の側面を提案します。 この包括的枠組みの下では、1000人の専門家に検証された質問を伴う新しいMedGuardベンチマークを導入する。 11個の LLM の評価結果から,現行の言語モデルは安全アライメント機構によらず,ベンチマークのほとんどにおいて性能が劣っていることが示唆された。 この研究は、人間の監視の必要性とAI安全ガードレールの実装を浮き彫りにして、重大な安全性のギャップを浮き彫りにした。
  論文  参考訳（メタデータ） (2024-11-20T06:34:32Z)
• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models [92.04812189642418]
  我々はCARESを紹介し,医療領域全体での医療LVLMの信頼性を評価することを目的とする。 我々は,Med-LVLMの信頼性を,信頼性,公正性,安全性,プライバシ,堅牢性,5次元にわたって評価する。
  論文  参考訳（メタデータ） (2024-06-10T04:07:09Z)
• A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [57.88111980149541]
  Asclepiusは、Med-MLLMの異なる医学的特長と診断能力で評価する、新しいMed-MLLMベンチマークである。 3つの基本原則に基づいて、アスクレピウスは15の医療専門分野を包括的に評価する。 また、6つのMed-MLLMの詳細な分析を行い、3人の専門家と比較した。
  論文  参考訳（メタデータ） (2024-02-17T08:04:23Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。