論文の概要: Exploiting Web Search Tools of AI Agents for Data Exfiltration

• arxiv url: http://arxiv.org/abs/2510.09093v1
• Date: Fri, 10 Oct 2025 07:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 04:53:46.930044
• Title: Exploiting Web Search Tools of AI Agents for Data Exfiltration
• Title（参考訳）: データ抽出のためのAIエージェントのWeb検索ツールのエクスプロイト
• Authors: Dennis Rall, Bernhard Bauer, Mohit Mittal, Thomas Fraunholz,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理からWeb検索のような動的まで、複雑なタスクの実行に日常的に使用されている。 ツールコールと検索拡張生成(RAG)の使用により、LLMは機密性の高い企業データの処理と取得が可能になり、その機能と悪用に対する脆弱性の両方を増幅する。 我々は、現在のLLMが間接的にインジェクションアタックを誘導し、どのパラメーター、モデルサイズや製造元が脆弱性を形作り、どの攻撃方法が最も効果的かを分析する。
• 参考スコア（独自算出の注目度）: 0.46664938579243564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now routinely used to autonomously execute complex tasks, from natural language processing to dynamic workflows like web searches. The usage of tool-calling and Retrieval Augmented Generation (RAG) allows LLMs to process and retrieve sensitive corporate data, amplifying both their functionality and vulnerability to abuse. As LLMs increasingly interact with external data sources, indirect prompt injection emerges as a critical and evolving attack vector, enabling adversaries to exploit models through manipulated inputs. Through a systematic evaluation of indirect prompt injection attacks across diverse models, we analyze how susceptible current LLMs are to such attacks, which parameters, including model size and manufacturer, specific implementations, shape their vulnerability, and which attack methods remain most effective. Our results reveal that even well-known attack patterns continue to succeed, exposing persistent weaknesses in model defenses. To address these vulnerabilities, we emphasize the need for strengthened training procedures to enhance inherent resilience, a centralized database of known attack vectors to enable proactive defense, and a unified testing framework to ensure continuous security validation. These steps are essential to push developers toward integrating security into the core design of LLMs, as our findings show that current models still fail to mitigate long-standing threats.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理からWeb検索のような動的ワークフローまで、複雑なタスクを自律的に実行するために日常的に使用されている。 ツールコールと検索拡張生成(RAG)の使用により、LLMは機密性の高い企業データの処理と取得が可能になり、その機能と悪用に対する脆弱性の両方を増幅する。 LLMが外部データソースとますます相互作用するにつれて、間接的なプロンプトインジェクションは攻撃ベクトルとして重要で進化し、敵は操作された入力を通じてモデルを利用することができる。 各種モデルに対する間接的インジェクション攻撃の系統的評価を通じて、モデルのサイズや製造元、特定の実装、脆弱性の形状、攻撃方法の最も効果的な方法など、現在のLLMがこのような攻撃に対してどのように影響するかを分析した。 その結果、よく知られた攻撃パターンでさえも成功し続けており、モデル防御において永続的な弱点が露呈していることが明らかとなった。 これらの脆弱性に対処するために、本質的なレジリエンスを強化するための強化されたトレーニング手順、積極的な防御を可能にする既知の攻撃ベクトルの集中データベース、継続的なセキュリティ検証を保証する統一テストフレームワークの必要性を強調した。 これらのステップは、開発者がLLMのコア設計にセキュリティを統合するために不可欠です。

関連論文リスト

• Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
  本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。 攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。 発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
  論文  参考訳（メタデータ） (2025-08-14T17:49:09Z)
• A Survey on Model Extraction Attacks and Defenses for Large Language Models [55.60375624503877]
  モデル抽出攻撃は、デプロイされた言語モデルに重大なセキュリティ脅威をもたらす。 この調査は、抽出攻撃と防御攻撃の包括的分類、機能抽出への攻撃の分類、データ抽出の訓練、およびプロンプトターゲット攻撃を提供する。 モデル保護,データプライバシ保護,迅速なターゲット戦略に編成された防御機構について検討し,その効果を異なる展開シナリオで評価する。
  論文  参考訳（メタデータ） (2025-06-26T22:02:01Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。