論文の概要: Right Tool, Wrong Parameters: Defending LLM Agents Against Parameter Poisoning

• arxiv url: http://arxiv.org/abs/2611.04673v1
• Date: Tue, 03 Nov 2026 10:57:12 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:47:04.654211
• Title: Right Tool, Wrong Parameters: Defending LLM Agents Against Parameter Poisoning
• Title（参考訳）: 正しいツール, 誤りパラメータ: パラメータ中毒に対するLDMエージェントの防御
• Abstract要約: 本研究では,攻撃者が意図した動作を保ちながら1つ以上のツール引数を操作する,異なる攻撃面,パラメータ中毒について検討する。 我々の重要な洞察は、パラメータ変更の正当性は、ユーザクエリでそれを生成する情報フローの信頼によって決定されるべきであるということです。 この知見に基づいて、3段階のパラメータレベル防衛である AuthorityFlow を提案する。
• 参考スコア（独自算出の注目度）: 42.35535435210947
• License:
• Abstract: Indirect Prompt Injection (IPI) poses a critical threat to LLM agents. Existing defenses largely focus on whether an injection induces a new tool invocation or unintended action. In this paper, we study a different attack surface, parameter poisoning, where the attacker preserves the intended action but manipulates one or more tool arguments, such as a recipient or other task-critical value. Such attacks are difficult to detect because no new action is introduced, while parameter changes themselves are often legitimate parts of the user's request. Our key insight is that the legitimacy of a parameter change should be determined by the trust of the information flow that produces it under the user query. The query induces a task-specific trust hierarchy over available information fields: some are trusted to determine particular parameters, while others should have little or no influence. Based on this insight, we propose AuthorityFlow, a three-stage parameter-level defense. First, it interprets the user query to construct a task-specific trust hierarchy over the information fields available to the agent. Second, for each tool argument, it traces the information flow that produces its current value and attributes the value to its supporting field. Finally, it accepts the value only when that field is trusted to determine the parameter under the current task, allowing high-trust changes while flagging low-trust influence as potential parameter poisoning. We further introduce FactAuthBench for evaluating parameter poisoning in LLM agents. Without defense, the attack success rate reaches 93.06%. AuthorityFlow reduces it to 9.03%, while retaining 82.64% benign task utility compared with 90.28% without defense. Our results show that effective IPI defense requires reasoning not only about what action an agent takes, but also about which information is trusted to determine its parameters.
• Abstract（参考訳）: 間接プロンプト注入(IPI)はLLM剤に重大な脅威をもたらす。 既存の防御は、インジェクションが新しいツール呼び出しを誘導するか、意図しないアクションを誘導するかに重点を置いている。 本稿では,攻撃者が意図した動作を保ちながら,受信者や他のタスククリティカルな値などの1つ以上のツール引数を操作する,異なる攻撃面,パラメータ中毒について検討する。 このような攻撃は、新しいアクションが導入されないため検出が難しいが、パラメータの変更自体は、ユーザの要求の正当な部分であることが多い。 我々の重要な洞察は、パラメータ変更の正当性は、ユーザクエリでそれを生成する情報フローの信頼によって決定されるべきであるということです。 クエリは、利用可能な情報フィールドに対してタスク固有の信頼階層を誘導する。 この知見に基づいて、3段階のパラメータレベル防衛である AuthorityFlow を提案する。 まず、エージェントが利用可能な情報フィールドにタスク固有の信頼階層を構築するために、ユーザクエリを解釈する。 次に、各ツール引数に対して、現在の値を生成し、その値をそのサポートフィールドに属性付ける情報フローをトレースする。 最後に、現在のタスクの下でパラメータを決定するためにフィールドが信頼されている場合にのみ値を受け取り、潜在的パラメータ中毒として低信頼の影響を警告しながら高い信頼度の変化を可能にする。 さらに, LLM エージェントのパラメータ中毒評価のための FactAuthBench についても紹介する。 防御がなければ、攻撃成功率は93.06%に達する。 AuthorityFlowは9.03%に減らし、82.64%の良質なタスクユーティリティを維持している。 以上の結果から,有効なIPI防御には,エージェントがどのような行動をとるかだけでなく,そのパラメータを決定するために信頼されている情報についても推論が必要であることが示唆された。

関連論文リスト

• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• Agent Security Needs Redefinition through a Holistic Framework [46.88917910966891]
  被告は、命令が悪意あるように見えるかどうかを問う。ベンチマークは、エージェントが有害な鳴き声を行うかどうかを問う。 我々は,エージェントの軌道全体にわたって連続的に評価されなければならない4つの特性を通じて,コンテキストセキュリティを運用する。
  論文  参考訳（メタデータ） (2026-07-24T06:43:09Z)
• Aligning Provenance with Authorization: A Dual-Graph Defense for LLM Agents [11.867868278947524]
  LLMベースのエージェントは、Eメール管理、金融トランザクション、コード実行など、ハイテイクなシナリオにますますデプロイされている。 2つの相補グラフを構成するデュアルグラフアライメント・ディフェンス・フレームワークであるAuthGraphを提案する。 AgentDojoでは、AuthGraphが攻撃成功率を40%から1%に削減し、GPT-4oでは76%のタスク完了率を維持している。
  論文  参考訳（メタデータ） (2026-05-26T03:20:23Z)
• Reasoning-Style Poisoning of LLM Agents via Stealthy Style Transfer: Process-Level Attacks and Runtime Monitoring in RSV Space [4.699272847316498]
  Reasoning-Style Poisoning (RSP)は、エージェントが処理するものよりも情報を処理する方法を操作する。 Generative Style Injection (GSI)は、検索した文書を病的トーンに書き換える。 RSP-Mは軽量なランタイムモニタで、RSVメトリクスをリアルタイムで計算し、安全性の閾値を超える値にアラートをトリガーする。
  論文  参考訳（メタデータ） (2025-12-16T14:34:10Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。