論文の概要: The Mirage of LLM Guardrails: A Case Study in AI-Assisted Medical Note Manipulation

• arxiv url: http://arxiv.org/abs/2607.24859v1
• Date: Sun, 26 Jul 2026 07:46:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.557049
• Title: The Mirage of LLM Guardrails: A Case Study in AI-Assisted Medical Note Manipulation
• Title（参考訳）: LLMガードレールのミラージュ:AIによる医療用ノート操作を事例として
• Abstract要約: 我々は、具体的なケーススタディとして、AI支援医療ノート操作を使用します。 まず、市販のシード医療用ノートテンプレートを利用する再現可能な操作パイプラインを開発する。 第2に,医療用ノート操作におけるLLMガードレールのロバスト性について,系統的評価を行った。 第3に、自動メトリクスと人間のアノテーションに基づくメトリクスを組み合わせて、要求された操作の正確性を評価する。
• 参考スコア（独自算出の注目度）: 7.091077137729042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid deployment of large language models (LLMs) in healthcare settings makes the reliability of their built-in guardrails against malicious queries a question of urgent practical consequence. Yet the robustness of these mechanisms against deliberate misuse (in the healthcare context) remains poorly understood. In this paper, we investigate this question empirically, using AI-assisted medical note manipulation as a concrete case study. We make four novel contributions. First, we develop a reproducible manipulation pipeline that takes publicly available seed medical note templates and use commercial LLMs to produce customized manipulated notes by substituting patient names, provider identities, dates, and medical conditions across multiple model families, input formats, and prompt phrasings. Second, we conduct a systematic empirical evaluation of LLM guardrail robustness for medical note manipulation. Our experimental results reveal substantial weaknesses and inconsistencies in contemporary commercial LLM guardrails, including low refusal rates for several model families. Third, we utilize a combination of automated metrics and human annotation-based metrics to assess the correctness of requested manipulations. Fourth, we conduct a user-study to assess the believability of manipulated medical notes, finding that the best manipulations are visually indistinguishable from original documents to human raters. Finally, we discuss implications for responsible guardrail design in LLMs, AI safety policies, and the broader ethics of deploying LLMs in healthcare settings.
• Abstract（参考訳）: 医療環境における大規模言語モデル(LLM)の迅速な展開は、悪質なクエリに対する彼らのビルトインガードレールの信頼性を、緊急の実用的な結果の問題にしている。 しかし、故意の誤用(医療の文脈では)に対するこれらのメカニズムの堅牢性は、いまだに理解されていない。 本稿では,具体的ケーススタディとして,AIを用いた医療ノート操作を用いて,この問題を実証的に検討する。 私たちは4つの新しい貢献をしている。 まず, 患者名, 提供者名, 日付, 医療条件を複数のモデルファミリ, 入力形式, アクシデント・フレーズに置き換えることで, 市販の医療用ノートテンプレートを用いて, 患者名, 提供者名, 日付, 医療条件をカスタマイズして, カスタマイズされたメモを生成する再現可能な操作パイプラインを開発した。 第2に,医療用ノート操作におけるLLMガードレールのロバスト性について,系統的評価を行った。 実験結果から, 現代の商業用LLMガードレールにおいて, モデルファミリの拒絶率の低下など, 重大な弱点と不整合性が確認された。 第3に、自動メトリクスと人間のアノテーションに基づくメトリクスを組み合わせて、要求された操作の正確性を評価する。 第4に,操作された医療用ノートの信頼性を評価するためにユーザスタディを実施し,操作方法が本来の文書から人間のレーダまで視覚的に区別できないことを発見した。 最後に、LLMにおける責任あるガードレール設計の意義、AI安全ポリシー、医療環境におけるLLMの展開に関する幅広い倫理について論じる。

関連論文リスト

• Assessing Automated Fact-Checking for Medical LLM Responses with Knowledge Graphs [12.287636586297756]
  近年の大規模言語モデル(LLM)の普及は、医療に革命をもたらす可能性がある。 本稿では,医療知識グラフ(KG)を用いたLCM生成応答の自動現実性評価の信頼性と信頼性について検討する。 我々は、このKGベースのアプローチの長所と短所を調査するために設計されたフレームワークであるFAITHを紹介する。
  論文  参考訳（メタデータ） (2025-11-16T22:58:22Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。 標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。 バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Advancing Healthcare Automation: Multi-Agent System for Medical Necessity Justification [0.0]
  本稿では,LLMエージェントを利用したマルチエージェントシステム(MAS)の優先オーソライゼーションタスクの自動化について検討する。 GPT-4のチェックリストは,証拠による項目レベルの判断の精度が86.2%,総合的なチェックリスト判定の精度が95.6%であることを示す。
  論文  参考訳（メタデータ） (2024-04-27T18:40:05Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [18.56314471146199]
  時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。 患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
  論文  参考訳（メタデータ） (2023-09-08T18:44:47Z)
• Medical Misinformation in AI-Assisted Self-Diagnosis: Development of a Method (EvalPrompt) for Analyzing Large Language Models [4.8775268199830935]
  本研究は、自己診断ツールとしての大規模言語モデル(LLM)の有効性と、医療情報の拡散における役割を評価することを目的とする。 我々は,実世界の自己診断を模倣するオープンエンド質問を用いて,現実的な自己診断を模倣する文のドロップアウトを行い,情報不足を伴う現実的な自己診断を模倣する。 その結果, LLMの応答が不明確で不正確な場合が多いため, LLMの質素な機能を強調した。
  論文  参考訳（メタデータ） (2023-07-10T21:28:26Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Appraising the Potential Uses and Harms of LLMs for Medical Systematic Reviews [21.546144601311187]
  大規模言語モデル(LLM)は、必要に応じて文献レビューを自動的に生成する可能性がある。 LLMは幻覚や省略によって不正確な(そして潜在的に誤解を招く)テキストを生成することがある。
  論文  参考訳（メタデータ） (2023-05-19T17:09:19Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。