論文の概要: When Medical Safety Alignment Fails: A Benchmark for Evaluating LLMs on High-Risk Medical Queries

• arxiv url: http://arxiv.org/abs/2606.28332v1
• Date: Tue, 26 May 2026 14:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.956976
• Title: When Medical Safety Alignment Fails: A Benchmark for Evaluating LLMs on High-Risk Medical Queries
• Title（参考訳）: 医療安全アライメントが失敗した場合 : ハイリスク・メディカル・クエリーにおけるLCMの評価基準
• Abstract要約: textscMedHarmは、リスクの高い医療安全ベンチマークであり、10の安全クリティカルなカテゴリに1100の医療的根拠のあるクエリがある。 textscMedHarmは、直接的な助けではなく、拒絶、注意、安全なリダイレクトを必要とする現実的な臨床、教育、技術的プロンプトをターゲットにしている。
• 参考スコア（独自算出の注目度）: 35.893190386172854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for medical and health-related questions, yet their safety in high-risk medical scenarios remains poorly understood. We introduce \textsc{MedHarm}\footnote{Code and data will be released upon acceptance. Due to the sensitive nature of high-risk medical queries, data access will be available to qualified researchers upon request.}, a high-risk medical safety benchmark with 1,100 medically grounded queries across 10 safety-critical categories, including toxicology, pharmacology, covert poisoning, anesthesia, and fetal harm. Unlike broad medical QA benchmarks, \textsc{MedHarm} targets realistic clinical, educational, and technical prompts that require refusal, caution, or safe redirection rather than direct helpfulness. We evaluate 15 LLMs spanning general-purpose, medical-purpose, closed-source, and downstream SFT models, together with 4 representative guardrail models. Results reveal a substantial gap between apparent alignment and medical safety: aligned models can still produce unsafe or actionable responses, medical fine-tuning can amplify harmful specificity, and external guardrails reduce some failures while introducing brittle blocking and weak safe helpfulness. These findings show that medical safety cannot be inferred from general alignment or medical capability alone, highlighting the need for domain-specific stress testing before deploying LLMs in safety-critical medical applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医療や健康に関する問題にますます使われているが、リスクの高い医療シナリオにおける安全性はいまだによく分かっていない。 私たちは、textsc{MedHarm}\footnote{Codeを紹介します。 リスクの高い医療クエリの繊細な性質のため、要求に応じてデータアクセスが資格のある研究者に提供される。 リスクの高い医療安全ベンチマークで、毒性学、薬理学、隠蔽性中毒、麻酔、胎児の危害など、10の安全クリティカルなカテゴリーに1100の医療的根拠がある。 幅広い医療QAベンチマークとは異なり、 \textsc{MedHarm} は、直接的な助けではなく、拒絶、注意、安全なリダイレクトを必要とする現実的な臨床、教育、技術的プロンプトをターゲットにしている。 汎用, 医療用, クローズドソース, 下流SFTモデルにまたがる15のLLMと4つの代表的なガードレールモデルを評価した。 その結果、アライメントと医療の安全性の間には大きなギャップがあることが判明した。アライメントモデルは依然として安全でない反応や行動可能な反応を発生させ、医療の微調整は有害な特異性を増幅し、外部ガードレールは不安定なブロッキングと弱い安全支援を導入しながら、いくつかの障害を軽減します。 これらの結果から, 医療安全は一般の整合性や医療能力だけでは推測できないことが示唆され, 安全に重要な医療応用にLLMを配備する前に, ドメイン固有のストレステストの必要性が強調された。

関連論文リスト

• SafeSci: Safety Evaluation of Large Language Models in Science Domains and Beyond [134.43113804188195]
  安全評価と科学的文脈の強化のための包括的枠組みであるSafeSciを紹介する。 SafeSciには、0.25Mサンプルを持つマルチディシプリナのベンチマークであるSafeSciBenchと、安全性向上のための1.5Mサンプルを含む大規模データセットであるSafeSciTrainが含まれている。
  論文  参考訳（メタデータ） (2026-03-02T08:16:04Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• MediEval: A Unified Medical Benchmark for Patient-Contextual and Knowledge-Grounded Reasoning in LLMs [7.2159153945746795]
  既存の評価は、単独で実際の医療知識をテストするか、患者レベルの推論を正当性を検証せずに評価し、重大なギャップを残している。 我々はMIMIC-IV電子健康記録とUMLSやその他のバイオメディカル語彙から構築された統一知識ベースを結びつけるベンチマークであるMediEvalを紹介する。 MediEvalは、実際の患者コンテキスト内で、さまざまな事実的および反ファクト的医療声明を生成し、4つのクアドラント・フレームワーク間で体系的な評価を可能にする。
  論文  参考訳（メタデータ） (2025-12-23T22:52:24Z)
• The Forgotten Shield: Safety Grafting in Parameter-Space for Medical MLLMs [23.79442915729949]
  医療マルチモーダル大言語モデル(Medical MLLMs)は、専門的な医療タスクにおいて顕著な進歩を遂げている。 しかし、彼らの安全性の研究は遅れており、現実の展開に潜在的なリスクを生じさせている。 我々はまず,現在のSOTA医療MLLMの安全性を体系的にベンチマークする多次元評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2025-12-05T06:52:06Z)
• RxSafeBench: Identifying Medication Safety Issues of Large Language Models in Simulated Consultation [19.41567007880886]
  大規模言語モデル(LLM)は多様な医療タスクにおいて顕著な進歩を遂げた。 しかし、それらの医薬品の安全性に関する研究は、現実世界のデータセットが不足しているため、依然として限られている。 臨床相談をシミュレートし,評価し,LSMの薬剤安全性を体系的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-06T12:56:34Z)
• Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
  大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。 敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。 私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
  論文  参考訳（メタデータ） (2025-07-30T08:44:22Z)
• Medical Red Teaming Protocol of Language Models: On the Importance of User Perspectives in Healthcare Settings [48.096652370210016]
  本稿では,患者と臨床医の両方の視点で医療領域に適した安全評価プロトコルを提案する。 医療用LLMの安全性評価基準を3つの異なる視点を取り入れたレッドチームで定義した最初の研究である。
  論文  参考訳（メタデータ） (2025-07-09T19:38:58Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• CARES: Comprehensive Evaluation of Safety and Adversarial Robustness in Medical LLMs [7.597770587484936]
  医療における大規模言語モデル(LLM)の安全性を評価するためのベンチマークであるCARES(Clinical Adversarial Robustness and Evaluation of Safety)を紹介する。 CARESには、8つの医療安全原則にまたがる18,000以上のプロンプト、4つの有害レベル、4つのプロンプトスタイルがあり、悪意のあるユースケースと良心的なユースケースの両方をシミュレートしている。 我々の分析によると、多くの最先端のLSMは、有害なプロンプトを微妙に言い換えるジェイルブレイクに対して脆弱でありながら、安全で非典型的なクエリを過剰に再利用している。
  論文  参考訳（メタデータ） (2025-05-16T16:25:51Z)
• Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine [41.71754418349046]
  安全で信頼性の高い医療AIのための5つの重要な原則と10の特定の側面を提案します。 この包括的枠組みの下では、1000人の専門家に検証された質問を伴う新しいMedGuardベンチマークを導入する。 11個の LLM の評価結果から,現行の言語モデルは安全アライメント機構によらず,ベンチマークのほとんどにおいて性能が劣っていることが示唆された。 この研究は、人間の監視の必要性とAI安全ガードレールの実装を浮き彫りにして、重大な安全性のギャップを浮き彫りにした。
  論文  参考訳（メタデータ） (2024-11-20T06:34:32Z)
• Medical Foundation Models are Susceptible to Targeted Misinformation Attacks [3.252906830953028]
  大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。 モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。 我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
  論文  参考訳（メタデータ） (2023-09-29T06:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。