論文の概要: Prompt Injection Attacks on Large Language Models in Oncology

• arxiv url: http://arxiv.org/abs/2407.18981v1
• Date: Tue, 23 Jul 2024 15:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 20:22:03.377572
• Title: Prompt Injection Attacks on Large Language Models in Oncology
• Title（参考訳）: オンコロジーにおける大規模言語モデルへのプロンプト注入攻撃
• Authors: Jan Clusmann, Dyke Ferber, Isabella C. Wiest, Carolin V. Schneider, Titus J. Brinker, Sebastian Foersch, Daniel Truhn, Jakob N. Kather,
• Abstract要約: ヴィジュアル言語人工知能モデル(VLM)は医療知識を持ち、様々な方法で医療に応用することができる。 これらのモデルはインジェクション攻撃によって攻撃され、VLMと相互作用することで有害な情報を出力することができる。 医用画像データにサブビジュアルプロンプトを埋め込むことで, 有害な出力が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.6631057801468496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language artificial intelligence models (VLMs) possess medical knowledge and can be employed in healthcare in numerous ways, including as image interpreters, virtual scribes, and general decision support systems. However, here, we demonstrate that current VLMs applied to medical tasks exhibit a fundamental security flaw: they can be attacked by prompt injection attacks, which can be used to output harmful information just by interacting with the VLM, without any access to its parameters. We performed a quantitative study to evaluate the vulnerabilities to these attacks in four state of the art VLMs which have been proposed to be of utility in healthcare: Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, and GPT-4o. Using a set of N=297 attacks, we show that all of these models are susceptible. Specifically, we show that embedding sub-visual prompts in medical imaging data can cause the model to provide harmful output, and that these prompts are non-obvious to human observers. Thus, our study demonstrates a key vulnerability in medical VLMs which should be mitigated before widespread clinical adoption.
• Abstract（参考訳）: ヴィジュアル言語人工知能モデル(VLM)は医療知識を持ち、画像インタプリタ、仮想書式、一般的な意思決定支援システムなど、様々な方法で医療に応用することができる。 しかし,本論文では,現在の医療タスクに適用されているVLMは,そのパラメータにアクセスすることなく,VLMと対話することで有害な情報を出力できる即時注入攻撃によって攻撃できるという,基本的なセキュリティ上の欠陥が示されていることを実証する。 医療用として提案されている4つの最先端VLM(Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, GPT-4o)において,これらの攻撃に対する脆弱性を評価するための定量的研究を行った。 N=297 攻撃の集合を用いて、これらのモデルが全て受容可能であることを示す。 具体的には、医用画像データにサブ視覚的プロンプトを埋め込むことで有害な出力が得られることを示し、これらのプロンプトは人間の観察者にとって有害ではないことを示す。 そこで本研究では,広範に臨床応用される前に緩和すべき医療用VLMの重大な脆弱性を示す。

関連論文リスト

• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
  医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。 LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。 本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
  論文  参考訳（メタデータ） (2024-06-18T04:24:30Z)
• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models [92.04812189642418]
  我々はCARESを紹介し,医療領域全体での医療LVLMの信頼性を評価することを目的とする。 我々は,Med-LVLMの信頼性を,信頼性,公正性,安全性,プライバシ,堅牢性,5次元にわたって評価する。
  論文  参考訳（メタデータ） (2024-06-10T04:07:09Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Envisioning MedCLIP: A Deep Dive into Explainability for Medical Vision-Language Models [12.871317188671787]
  我々は、視覚言語モデルであるMedCLIPを用いて、様々な説明可能なAI手法の性能を分析し、その内部動作を復調する。 我々の研究は、医療分野における最近の有名なVLMの説明可能性について、新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-03-27T20:30:01Z)
• AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Adversarial Visual-Instructions [52.9787902653558]
  LVLM(Large Vision-Language Models)は、視覚的インストラクションに対するユーザからの対応において、大きな進歩を見せている。 LVLMのこのような脅威に対する堅牢性の重要性にもかかわらず、この分野の現在の研究は限られている。 AVIBenchは、様々な対向的な視覚的命令に直面した場合のLVLMの堅牢性を分析するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T12:51:07Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Self-Diagnosis and Large Language Models: A New Front for Medical Misinformation [8.738092015092207]
  一般ユーザによる自己診断のレンズから,大規模言語モデル(LLM)の性能を評価する。 本研究では,実世界の事例を模倣したオープンエンド質問に対する応答を評価するテスト手法を開発した。 a) これらのモデルでは, 既知よりもパフォーマンスが悪く, b) 誤ったレコメンデーションを述べる際に, 過度な自信を含む特異な行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-07-10T21:28:26Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Medical Image Understanding with Pretrained Vision Language Models: A Comprehensive Study [8.547751745702156]
  我々は、事前学習された視覚言語モデル(VLM)から知識を引き出すための、よく設計された医療プロンプトが鍵であることを示している。 医用プロンプトの自動生成のための3つのアプローチを開発し,専門家レベルの医療知識と画像特異的情報を微粒な接地プロンプトに注入する。
  論文  参考訳（メタデータ） (2022-09-30T15:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。