論文の概要: Influence Is Not Authority: When Causal Guardrail Signals Make Legitimate Tool Use Look Like an Attack in Tool-Using LLM Agents
- arxiv url: http://arxiv.org/abs/2608.29942v1
- Date: Sun, 30 Aug 2026 18:16:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.126221
- Title: Influence Is Not Authority: When Causal Guardrail Signals Make Legitimate Tool Use Look Like an Attack in Tool-Using LLM Agents
- Title(参考訳): 因果的ガードレール信号がツールを攻撃したように見せかけると、LLMエージェントが攻撃を仕掛ける
- Abstract要約: 影響に基づくガードレールの鍵となる制限は、正当でユーザ認証されたアクションと悪意のある不正なアクションとを確実に区別しないことである。
我々は,この制限を,24件のベースケースから抽出した96条件の認証等価監査を通じて明らかにした。
シャドーベースのガードレールは、テストされたすべての無害走行を可能にするが、一致した不正な動作をより頻繁に拒否することはない。
- 参考スコア(独自算出の注目度): 1.0262304700896199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The key limitation of current state-of-the-art influence-based guardrails is that they do not reliably distinguish a legitimate, user-authorized action from a malicious, unauthorized action when both rely on external tool information. This ambiguity can cause benign actions to trigger unnecessary verification and intervention, reducing utility and adding latency. We expose this limitation through an authorization-equivalence audit of 96 conditions derived from 24 base cases. Within matched source comparisons, we hold authorization, the exact committed action, and its intended effect fixed, changing only whether a required value comes from the user or a legitimate tool result. Although the action remains unchanged, this harmless relocation shifts the causal signal toward the attack region in all 24 cases under both Llama and Gemma scorers. Matched unauthorized controls show that the signal remains attack-sensitive, yet the benign relocation produces a larger average score shift than the actual change in authorization. Architecture-level evaluation shows how this mismatch propagates through guardrail designs. With a semantic monitor, attack success is 0% and utility is 28%, compared with 16% and 60% without it. A shadow-based guardrail allows every tested harmless run, yet does not reject matched unauthorized actions more often overall: 57.5% of unauthorized runs pass automatically before reaching the later security check, compared with 29.2% of authorized runs. These results show that the studied causal signal reveals what shaped an action without reliably encoding whether the action was authorized, and that reference construction and routing are integral to the effective security decision.
- Abstract(参考訳): 現在の最先端のインフルエンサーベースのガードレールの鍵となる制限は、どちらも外部ツール情報に依存している場合に、正当でユーザ認証されたアクションと悪意のある不正なアクションとを確実に区別しないことである。
この曖昧さは、良心的なアクションが不要な検証と介入を引き起こし、ユーティリティを低減し、レイテンシを追加する可能性がある。
我々は,この制限を,24件のベースケースから抽出した96条件の認証等価監査を通じて明らかにした。
一致したソース比較では、承認、正確なコミットアクション、および意図した効果を固定し、必要な値がユーザから来るか、正当なツール結果から来るかだけを変更する。
この無害転位は、Llama と Gemma のスコアラーの24例すべてにおいて、攻撃領域への因果シグナルをシフトさせる。
一致した不正な制御は、信号が攻撃に敏感なままであることを示しているが、良心的な再配置は、実際の承認の変更よりも大きな平均スコアシフトをもたらす。
アーキテクチャレベルの評価は、このミスマッチがガードレール設計を通じてどのように伝播するかを示している。
セマンティックモニタでは、攻撃成功率は0%、ユーティリティは28%であり、それなしでは16%、60%である。
シャドーベースガードレールはテストされたすべての無害走行を可能にするが、マッチした不正な動作を拒否する頻度は高くない: 57.5%の未許可走行は、29.2%の認可走行と比較して、後続のセキュリティチェックに達する前に自動的に通過する。
これらの結果から,行動が承認されたかどうかを確実に符号化することなく,行動がどのような形になったかが明らかとなり,参照構築とルーティングが効果的なセキュリティ決定に不可欠であることが示唆された。
関連論文リスト
- Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。
ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。
モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
論文 参考訳(メタデータ) (2026-08-28T16:34:05Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳(メタデータ) (2026-07-08T14:38:01Z) - Governed Individuation: Cryptographically Decoupling an Agent's Learning from Its Authority [7.392721604463545]
制限はエージェントの実行アーキテクチャの不変として保証できることを示す。
学習量やスキル獲得量、自己引き起こされるガバナンスの抽象化がエージェントの許可された権限を広げることはできないことを証明します。
論文 参考訳(メタデータ) (2026-07-06T02:42:06Z) - Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。
ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
論文 参考訳(メタデータ) (2026-05-17T13:51:34Z) - CIVeX: Causal Intervention Verification for Language Agents [0.0]
我々はCIVeXという因果介入検証器を導入し、提案した動作をコミットされた動作状態グラフ上の構造因果クエリにマッピングする。
Causal-ToolBench (1,890のインスタンス、7つのシード)では、CIVeXは中等度および対向的な共起で観測された偽の実行をゼロにする。
IHDPとZOZO Open Bandit(一様にランダムな真実を持つ実運用ログ)では、CIVeXはOracleの正しい実行と0.1pp以内で一致し、ネイティブなベースラインに対して、実行時の偽実行を>=50倍削減する。
論文 参考訳(メタデータ) (2026-05-09T21:06:15Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-04-14T06:48:33Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳(メタデータ) (2026-02-09T18:41:15Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳(メタデータ) (2026-02-08T11:34:08Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。