論文の概要: Emerging Cyber Attack Risks of Medical AI Agents

• arxiv url: http://arxiv.org/abs/2504.03759v1
• Date: Wed, 02 Apr 2025 08:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:04.398196
• Title: Emerging Cyber Attack Risks of Medical AI Agents
• Title（参考訳）: 医療AIエージェントのサイバー攻撃リスクの進展
• Authors: Jianing Qiu, Lin Li, Jiankai Sun, Hao Wei, Zhe Xu, Kyle Lam, Wu Yuan,
• Abstract要約: 大規模言語モデル(LLM)を利用したAIエージェントは、医療と医療の課題に対処する上で、高いレベルの自律性を示す。 さまざまなツールにアクセスでき、オープンなアクション空間内で操作できる。 我々は、Webブラウジングツールを通じてインターネットにアクセスするエージェントとして、医療AIエージェントのサイバー攻撃の脆弱性を調査した。
• 参考スコア（独自算出の注目度）: 18.618669974492366
• License:
• Abstract: Large language models (LLMs)-powered AI agents exhibit a high level of autonomy in addressing medical and healthcare challenges. With the ability to access various tools, they can operate within an open-ended action space. However, with the increase in autonomy and ability, unforeseen risks also arise. In this work, we investigated one particular risk, i.e., cyber attack vulnerability of medical AI agents, as agents have access to the Internet through web browsing tools. We revealed that through adversarial prompts embedded on webpages, cyberattackers can: i) inject false information into the agent's response; ii) they can force the agent to manipulate recommendation (e.g., healthcare products and services); iii) the attacker can also steal historical conversations between the user and agent, resulting in the leak of sensitive/private medical information; iv) furthermore, the targeted agent can also cause a computer system hijack by returning a malicious URL in its response. Different backbone LLMs were examined, and we found such cyber attacks can succeed in agents powered by most mainstream LLMs, with the reasoning models such as DeepSeek-R1 being the most vulnerable.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したAIエージェントは、医療と医療の課題に対処する上で、高いレベルの自律性を示す。 さまざまなツールにアクセスでき、オープンなアクション空間内で操作できる。 しかし、自律性と能力の増大に伴い、予期せぬリスクも生じる。 本研究では,医療用AIエージェントがWebブラウジングツールを通じてインターネットにアクセス可能な場合の,特定のリスク,すなわちサイバー攻撃の脆弱性について検討した。 我々は、ウェブページに埋め込まれた敵のプロンプトを通じて、サイバー攻撃者は以下のことを明らかにした。 一 エージェントの応答に虚偽情報を注入すること。 二 エージェントに推薦(例えば、医療製品及びサービス)の操作を強制することができること。 三 攻撃者は、利用者と代理人の歴史的会話を盗むことができ、その結果、機密・私的な医療情報が漏れるおそれがある。 さらに、ターゲットエージェントは、その応答に悪意のあるURLを返すことにより、コンピュータシステムにハイジャックを引き起こすことができる。 バックボーンのLSMを調査した結果,最も脆弱なモデルであるDeepSeek-R1など,主要なLSMをベースとしたエージェントに対して,このようなサイバー攻撃が成功することがわかった。

関連論文リスト

• Countering Autonomous Cyber Threats [40.00865970939829]
  ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。 近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。 この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
  論文  参考訳（メタデータ） (2024-10-23T22:46:44Z)
• AdvWeb: Controllable Black-box Attacks on VLM-powered Web Agents [22.682464365220916]
  AdvWebは、Webエージェント向けに設計された新しいブラックボックス攻撃フレームワークである。 DPOを用いた逆プロンプトモデルの訓練と最適化を行う。 従来のアプローチとは異なり、我々の逆文字列注入はステルスと制御を維持している。
  論文  参考訳（メタデータ） (2024-10-22T20:18:26Z)
• Multi-Agent Actor-Critics in Autonomous Cyber Defense [0.5261718469769447]
  マルチエージェントディープ強化学習(MADRL)は、自律型サイバーオペレーションの有効性とレジリエンスを高めるための有望なアプローチである。 シミュレーションサイバー攻撃シナリオにおいて,各エージェントが迅速に学習し,MADRLを用いて自律的に脅威に対処できることを実証する。
  論文  参考訳（メタデータ） (2024-10-11T15:15:09Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage [40.82238259404402]
  敵環境におけるジェネラリストWebエージェントのプライバシーリスクに関する最初の研究を行う。 まず,Webサイト上での攻撃に対する現実的な脅威モデルを提示し,ユーザ固有のPIIを盗むか,あるいはユーザ要求全体に対して,敵対的な2つのターゲットを検討する。 我々は、Mind2Webから様々なPIIカテゴリを含む177のアクションステップを収集し、これまでで最も有能なジェネラリストWebエージェントフレームワークの1つを使用して実験を行う。
  論文  参考訳（メタデータ） (2024-09-17T15:49:44Z)
• Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks [0.0]
  本稿では,AIの誤用によるエスカレート脅威,特にLarge Language Models(LLMs)の使用について述べる。 一連の制御された実験を通じて、これらのモデルがどのようにして倫理的およびプライバシー保護を回避し、効果的にサイバー攻撃を発生させるかを実証する。 私たちはまた、サイバー攻撃の自動化と実行のために特別に設計されたカスタマイズされた微調整のLLMであるOccupy AIを紹介します。
  論文  参考訳（メタデータ） (2024-08-23T02:56:13Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
  本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。 本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。 我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
  論文  参考訳（メタデータ） (2021-10-04T12:20:46Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。