論文の概要: Emerging Cyber Attack Risks of Medical AI Agents

• arxiv url: http://arxiv.org/abs/2504.03759v1
• Date: Wed, 02 Apr 2025 08:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 08:48:32.760979
• Title: Emerging Cyber Attack Risks of Medical AI Agents
• Title（参考訳）: 医療AIエージェントのサイバー攻撃リスクの進展
• Authors: Jianing Qiu, Lin Li, Jiankai Sun, Hao Wei, Zhe Xu, Kyle Lam, Wu Yuan,
• Abstract要約: 大規模言語モデル(LLM)を利用したAIエージェントは、医療と医療の課題に対処する上で、高いレベルの自律性を示す。 さまざまなツールにアクセスでき、オープンなアクション空間内で操作できる。 我々は、Webブラウジングツールを通じてインターネットにアクセスするエージェントとして、医療AIエージェントのサイバー攻撃の脆弱性を調査した。
• 参考スコア（独自算出の注目度）: 18.618669974492366
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs)-powered AI agents exhibit a high level of autonomy in addressing medical and healthcare challenges. With the ability to access various tools, they can operate within an open-ended action space. However, with the increase in autonomy and ability, unforeseen risks also arise. In this work, we investigated one particular risk, i.e., cyber attack vulnerability of medical AI agents, as agents have access to the Internet through web browsing tools. We revealed that through adversarial prompts embedded on webpages, cyberattackers can: i) inject false information into the agent's response; ii) they can force the agent to manipulate recommendation (e.g., healthcare products and services); iii) the attacker can also steal historical conversations between the user and agent, resulting in the leak of sensitive/private medical information; iv) furthermore, the targeted agent can also cause a computer system hijack by returning a malicious URL in its response. Different backbone LLMs were examined, and we found such cyber attacks can succeed in agents powered by most mainstream LLMs, with the reasoning models such as DeepSeek-R1 being the most vulnerable.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したAIエージェントは、医療と医療の課題に対処する上で、高いレベルの自律性を示す。 さまざまなツールにアクセスでき、オープンなアクション空間内で操作できる。 しかし、自律性と能力の増大に伴い、予期せぬリスクも生じる。 本研究では,医療用AIエージェントがWebブラウジングツールを通じてインターネットにアクセス可能な場合の,特定のリスク,すなわちサイバー攻撃の脆弱性について検討した。 我々は、ウェブページに埋め込まれた敵のプロンプトを通じて、サイバー攻撃者は以下のことを明らかにした。 一 エージェントの応答に虚偽情報を注入すること。 二 エージェントに推薦(例えば、医療製品及びサービス)の操作を強制することができること。 三 攻撃者は、利用者と代理人の歴史的会話を盗むことができ、その結果、機密・私的な医療情報が漏れるおそれがある。 さらに、ターゲットエージェントは、その応答に悪意のあるURLを返すことにより、コンピュータシステムにハイジャックを引き起こすことができる。 バックボーンのLSMを調査した結果,最も脆弱なモデルであるDeepSeek-R1など,主要なLSMをベースとしたエージェントに対して,このようなサイバー攻撃が成功することがわかった。

関連論文リスト

• WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks [36.97842000562324]
  WASPと呼ばれるベンチマークでは、現実的なWebエージェントのハイジャックと、それらをテストするための独立した環境が導入されている。 我々の評価は、高度な推論能力を持つモデルに支えられたAIエージェントでさえ、低便宜な人手によるプロンプトインジェクションの影響を受けやすいことを示している。 エージェントは16～86%の時間で敵の指示を実行開始するが、0～17%の時間しか目標を達成できない。
  論文  参考訳（メタデータ） (2025-04-22T17:51:03Z)
• AI Agents in Cryptoland: Practical Attacks and No Silver Bullet [36.49717045080722]
  本稿では,ブロックチェーンベースの金融エコシステムにおけるAIエージェントの脆弱性を,現実のシナリオにおける敵対的脅威に曝露した場合に検討する。 保護されていないコンテキストサーフェスを利用する包括的攻撃ベクトルであるコンテキスト操作の概念を導入する。 この結果から,悪意のある入力がエージェントの記憶されたコンテキストを損なう可能性があるため,プロンプトベースの防御は不十分であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-20T15:44:31Z)
• AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [75.85554113398626]
  我々は、既存のAIエージェントと将来のAIエージェントが、潜在的にプライベートな情報の処理をどの程度制限できるかを評価するために、AgentDAMと呼ばれるベンチマークを開発する。 我々のベンチマークは、現実的なWebインタラクションシナリオをシミュレートし、既存のWebナビゲーションエージェントすべてに適用できる。
  論文  参考訳（メタデータ） (2025-03-12T19:30:31Z)
• Poison Attacks and Adversarial Prompts Against an Informed University Virtual Assistant [3.0874677990361246]
  大規模言語モデル(LLM)は特に敵の攻撃に対して脆弱である。 AIベースのシステムの急速な開発ペースは、意思決定において人間を支援するジェネレーティブAI(GenAI)の可能性によって推進されている。 脅威アクターは、セキュリティギャップ、貧弱な保護、限られたデータガバナンスを使用して、システムとそのデータへの不正アクセスを許可する攻撃を実行することができる。
  論文  参考訳（メタデータ） (2024-11-03T05:34:38Z)
• Countering Autonomous Cyber Threats [40.00865970939829]
  ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。 近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。 この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
  論文  参考訳（メタデータ） (2024-10-23T22:46:44Z)
• Multi-Agent Actor-Critics in Autonomous Cyber Defense [0.5261718469769447]
  マルチエージェントディープ強化学習(MADRL)は、自律型サイバーオペレーションの有効性とレジリエンスを高めるための有望なアプローチである。 シミュレーションサイバー攻撃シナリオにおいて,各エージェントが迅速に学習し,MADRLを用いて自律的に脅威に対処できることを実証する。
  論文  参考訳（メタデータ） (2024-10-11T15:15:09Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks [0.0]
  本稿では,AIの誤用によるエスカレート脅威,特にLarge Language Models(LLMs)の使用について述べる。 一連の制御された実験を通じて、これらのモデルがどのようにして倫理的およびプライバシー保護を回避し、効果的にサイバー攻撃を発生させるかを実証する。 私たちはまた、サイバー攻撃の自動化と実行のために特別に設計されたカスタマイズされた微調整のLLMであるOccupy AIを紹介します。
  論文  参考訳（メタデータ） (2024-08-23T02:56:13Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
  本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。 本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。 我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
  論文  参考訳（メタデータ） (2021-10-04T12:20:46Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。