論文の概要: UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning

• arxiv url: http://arxiv.org/abs/2503.01908v1
• Date: Fri, 28 Feb 2025 21:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:38.31255
• Title: UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning
• Title（参考訳）: UDora: 動的に自身の推論をハイジャックすることで、LDMエージェントに対する統一されたレッドチームフレームワーク
• Authors: Jiawei Zhang, Shuang Yang, Bo Li,
• Abstract要約: 外部ツールを備えた大規模言語モデル(LLM)エージェントは、複雑なタスクを扱うためにますます強力になっている。 LLMエージェント用に設計された統一レッドチーム化フレームワークであるUDoraを,エージェント自身の推論プロセスを動的に活用し,悪意のある動作に強制する。
• 参考スコア（独自算出の注目度）: 17.448966928905733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) agents equipped with external tools have become increasingly powerful for handling complex tasks such as web shopping, automated email replies, and financial trading. However, these advancements also amplify the risks of adversarial attacks, particularly when LLM agents can access sensitive external functionalities. Moreover, because LLM agents engage in extensive reasoning or planning before executing final actions, manipulating them into performing targeted malicious actions or invoking specific tools remains a significant challenge. Consequently, directly embedding adversarial strings in malicious instructions or injecting malicious prompts into tool interactions has become less effective against modern LLM agents. In this work, we present UDora, a unified red teaming framework designed for LLM Agents that dynamically leverages the agent's own reasoning processes to compel it toward malicious behavior. Specifically, UDora first samples the model's reasoning for the given task, then automatically identifies multiple optimal positions within these reasoning traces to insert targeted perturbations. Subsequently, it uses the modified reasoning as the objective to optimize the adversarial strings. By iteratively applying this process, the LLM agent will then be induced to undertake designated malicious actions or to invoke specific malicious tools. Our approach demonstrates superior effectiveness compared to existing methods across three LLM agent datasets.
• Abstract（参考訳）: 外部ツールを備えた大規模言語モデル(LLM)エージェントは、Webショッピング、自動電子メール応答、金融取引といった複雑なタスクを扱うためにますます強力になっている。 しかしながら、これらの進歩は、特にLDMエージェントが敏感な外部機能にアクセスできる場合、敵攻撃のリスクを増幅する。 さらに、LSMエージェントは最終動作を実行する前に広範囲な推論や計画を行うため、ターゲットとなる悪意のあるアクションの実行や特定のツールの呼び出しにそれらを操作することは大きな課題である。 その結果、悪意のある命令に敵の文字列を直接埋め込んだり、ツール間相互作用に悪意のあるプロンプトを注入したりすることは、現代のLLMエージェントに対して効果が低くなった。 本研究では, LLMエージェント向けに設計された統一レッドチーム化フレームワークであるUDoraを紹介し, エージェント自身の推論プロセスを動的に活用し, 悪意のある動作に強制する。 具体的には、UDoraはまず与えられたタスクに対するモデルの推論をサンプリングし、次にターゲットの摂動を挿入するためにこれらの推論トレース内の複数の最適な位置を自動的に識別する。 その後、逆文字列を最適化する目的として修正された推論を使用する。 このプロセスを反復的に適用することで、LSMエージェントは、指定された悪意のあるアクションを実行したり、特定の悪意のあるツールを呼び出すように誘導される。 提案手法は,3つのLLMエージェントデータセットにまたがる既存の手法と比較して,優れた効果を示す。

関連論文リスト

• Les Dissonances: Cross-Tool Harvesting and Polluting in Multi-Tool Empowered LLM Agents [15.15485816037418]
  本稿では,マルチツール対応LLMエージェントにおけるタスク制御フローのシステマティックセキュリティ解析について述べる。 複数の攻撃ベクトルを含む新しい脅威であるクロスツールハーベスティングとポリッティング(XTHP)を同定する。 この脅威の影響を理解するために,我々は,XTHP攻撃を受けやすい現実世界のエージェントツールを自動的に検出する動的スキャンツールであるChordを開発した。
  論文  参考訳（メタデータ） (2025-04-04T01:41:06Z)
• A Practical Memory Injection Attack against LLM Agents [49.01756339657071]
  MINJAは、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入することができる。 MINJAは、任意のユーザがエージェントメモリに影響を与え、LLMエージェントの実践的なリスクを強調します。
  論文  参考訳（メタデータ） (2025-03-05T17:53:24Z)
• Towards Action Hijacking of Large Language Model-based Agent [39.19067800226033]
  我々は、ブラックボックスエージェントシステムのアクションプランを操作するための新しいハイジャック攻撃であるNoneを紹介する。 提案手法は, 安全フィルタの平均バイパス率92.7%を達成した。
  論文  参考訳（メタデータ） (2024-12-14T12:11:26Z)
• From Allies to Adversaries: Manipulating LLM Tool-Calling through Adversarial Injection [11.300387488829035]
  ツールコールは、外部ツールを統合することで、LLM(Large Language Model)アプリケーションを変更した。 本稿では,LDMツールコールシステムの脆弱性を利用した対向型ツールインジェクションによる新しいフレームワークであるToolCommanderを提案する。
  論文  参考訳（メタデータ） (2024-12-13T15:15:24Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
  LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。 現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。 エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T17:24:15Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。