論文の概要: The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection

• arxiv url: http://arxiv.org/abs/2610.22594v1
• Date: Thu, 15 Oct 2026 19:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.643015
• Title: The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection
• Title（参考訳）: 医療用マルチエージェントシステムのプロンプト注入防止モデル
• Abstract要約: 本稿では,システム決定の背景にある臨床判断を検証できる無訓練防衛法を提案する。 MedQAの攻撃成功率は4-7%に低下するが,攻撃のない場合の精度は維持する。
• 参考スコア（独自算出の注目度）: 2.3527416107195998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical multi-agent systems, in which LLM agents discuss a case, are increasingly studied for clinical decision support. Prompt injection, text that an attacker adds to a model's input, can manipulate LLMs into wrong decisions. How it affects these systems, and how to protect them, remains unclear. Across two systems, two model families and three benchmarks, a single injected passage succeeds in up to 61% of cases, and collaboration does not consistently protect against it. Existing defenses help only partly: they miss injections that look like ordinary clinical text. Yet when asked to check the injected text against the patient's findings, a model that followed the injection usually rejects it. We therefore propose a training-free defense that verifies the clinical judgments behind the system's decision. Following clinical practice, it separates the patient's findings from clinical judgments, such as diagnoses, recommendations and instructions, and checks each judgment against the findings alone, so the decision rests only on supported judgments. Our defense outperforms all baselines on every benchmark, lowering attack success on MedQA to 4-7% while maintaining accuracy on cases without an attack, and remains effective with a medical model and against defense-aware and adaptive attacks.
• Abstract（参考訳）: LLMエージェントが症例について議論する医療マルチエージェントシステムは、臨床意思決定支援のためにますます研究されている。 プロンプトインジェクション(Prompt Injection)は、攻撃者がモデルの入力に追加するテキストで、LSMを間違った判断で操作することができる。 それがこれらのシステムにどのように影響し、どのように保護するかは、まだ不明である。 2つのシステムに2つのモデルファミリと3つのベンチマークがあり、1つの注入されたパスが最大61%のケースで成功する。 既存の防御は部分的にしか役に立たない。通常の臨床用テキストのような注射を見逃してしまう。 しかし、患者の所見に対して注射されたテキストをチェックするように頼まれると、注射に続くモデルが拒否されるのが普通である。 そこで本研究では,システム決定の背景にある臨床判断を検証できる無訓練防衛法を提案する。 臨床実践の後、患者の所見と診断、勧告、指示などの臨床判断を分離し、各判定を単独で検査するので、決定は支持された判断にのみ依存する。 本研究は,MedQAの攻撃成功率を4-7%に低下させるとともに,攻撃のない場合の精度を維持しつつ,医療モデルや防衛意識・適応攻撃に対して有効である。

関連論文リスト

• Decide, Ask, or Defer: Clinical LLMs under Incomplete Evidence [1.9103545857576274]
  本稿では,DeCIDE/ASK/DEFERの定式化とブラインドプロトコルを導入することにより,モデルがエビデンス完全性メタデータを使用するのを防ぐ。 DDXPlusを用いて構築した200種類の臨床検査結果からQwen,Gemini,GPTの評価を行った。
  論文  参考訳（メタデータ） (2026-10-03T14:16:09Z)
• PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents [5.247635961504091]
  patientAgentBenchは、患者が直面するエージェント医療をベンチマークする。 シミュレーションされた患者と会話しながら、医療ツールのサンドボックスでエージェントにラップされた基礎モデルを評価する。 同じ1200のシナリオで、同じ4つのファミリーで10のモデルをベンチマークし、臨床的なギャップを見つけました。
  論文  参考訳（メタデータ） (2026-07-28T09:24:04Z)
• Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops [0.07249400282852114]
  大規模言語モデル(LLM)は、医療現場にますます導入されているが、臨床上の決定が関与すると、幻覚を引き起こす傾向が生じる。 本研究は, LLMが最近, 臨床的疑問に答える際に, 薬剤の投与を推奨するか, 中止を推奨するかを検討するものである。 LLMバックボーンを用いた5エージェント"Trust but verify"システムを開発した。
  論文  参考訳（メタデータ） (2026-06-12T06:21:19Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
  不完全な患者の医療反応を検出するために,この仮定をストレステストする。 我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-26T19:01:55Z)
• DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
  大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。 本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
  論文  参考訳（メタデータ） (2025-10-24T08:01:21Z)
• KnowGuard: Knowledge-Driven Abstention for Multi-Round Clinical Reasoning [44.49237466254508]
  臨床実践では、患者情報が不十分な場合、医師は意思決定を控える。 禁忌として知られるこの行動は、潜在的に有害な誤診を防ぐ重要な安全メカニズムである。 臨床意思決定のための体系的な知識グラフ探索を統合する新しいパラダイムであるKnowGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:03:01Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。