論文の概要: Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control
- arxiv url: http://arxiv.org/abs/2608.28502v1
- Date: Fri, 28 Aug 2026 16:34:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.410906
- Title: Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control
- Title（参考訳）: 強制を伴わない認識: LLMエージェントの命令仲裁と外部制御における構成依存障害
- Abstract要約: LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。
ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。
モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents arbitrate among instructions from system prompts, users, memory, and tools, but this arbitration cannot be assumed to enforce trust boundaries. We identify a recognition-enforcement gap: source-format features (role-template position, channel metadata, formatting cues) are linearly decodable from model activations, and models can explicitly identify forged authority when prompted, yet some configurations still produce the conflicting tool call. We use "recognition" in this specific decodable-source-format-plus-verbalized-detection sense; crossed-probe controls show it is not a unified abstract trust representation. The gap is not an immutable property of model weights. Restrictive policies and diverse prompts can eliminate execution on the same models, while permissive configurations and particular prompt-model pairs yield deterministic failures. Across a fleet evaluation (authority spoofing: 46 model endpoints across 6 vendors including open-weight; memory conflict: 48 models), average execution under diverse novel attacks is 1.21% [0.5-2.1%] (model-clustered CI over 14,294 spoofed trials from 29 models), but vulnerability is concentrated in reproducible cells and shifts across deployment windows (up to 47pp within-window per-fingerprint range). Prompt-layer defenses likewise fail to generalize across models and adaptive formulations. We therefore treat model self-arbitration as a capability rather than a security boundary and implement an external reference monitor combining authenticated source routing with capability-gated tool execution. It deterministically rejects all tested forged, tampered, replayed, and unsigned requests while preserving legitimate operations. A separate adaptive red-team found one implementation flaw (a since-patched clock-skew admission), not a cryptographic bypass. Secure agents require external enforcement, not merely better recognition.
- Abstract（参考訳）: LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。
我々は、認識強化のギャップを識別する: ソースフォーマット機能(ロールテンプレート位置、チャネルメタデータ、フォーマットキュー)は、モデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときに偽の権威を明示的に識別できるが、いくつかの構成は相反するツールコールを生成する。
我々は、この特定のデオーダブル・ソース・フォーマット+バーバル化・検出の感覚で「認識」を使い、クロスプローブ制御は、それが統一的な抽象的信頼表現ではないことを示す。
ギャップはモデルの重みの不変性ではない。
制限的なポリシーと多様なプロンプトは、同じモデル上での実行を排除し、許容的な構成と特定のプロンプトモデルペアは決定論的失敗をもたらす。
フリート評価(オーソリティスプーフィング: 46モデルエンドポイント オープンウェイトを含む6ベンダにわたる46モデルエンドポイント メモリコンフリクト: 48モデル)、様々な新規攻撃による平均実行は1.21%[0.5-2.1%](29モデルから14,294回のスプーフィングテスト)であるが、脆弱性は再現可能なセルに集中し、デプロイメントウィンドウ(フィンガープリントあたりのウィンドウ内幅は47ppまで)をまたいでシフトする。
プロンプト層防御も同様に、モデルと適応的な定式化をまたぐ一般化に失敗する。
そこで我々は,モデル自己配置をセキュリティ境界ではなく機能として扱い,認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装した。
正当な操作を保ちながら、テスト対象のすべての偽造、改ざん、再生、未署名の要求を確定的に拒否する。
個別の適応型レッドチームでは、暗号バイパスではなく、実装上の1つの欠陥(再パッチされたクロックスキューの入場)を発見した。
安全エージェントは、単により良い認識ではなく、外部の執行を必要とする。
関連論文リスト
- The Deception Delta: Adversarial Evaluation of LLM-Based Smart Contract Bytecode Forensics [0.0]
大規模な言語モデルは、ブロックチェーンの法医学的な調査でますます使われている。
逆行性騙しは ドレインの検出を 20.0ポイント減らす
モデルは、隠されたドレインメカニズムを正しく記述するが、契約のフレーミングを受け入れ、それを良心として無視する。
論文 参考訳（メタデータ） (2026-09-12T18:45:24Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - Confidently Wrong, Silently So: Auditing Undetectable Failures of a Deployed On-Device Language Model [0.038379177968040606]
本稿では、開発者が利用できるオンデバイス基盤モデルの再現可能な信頼性監査について述べる。
Emphtask-asymmetric miscalibration: そのガードレールはタスク間で反対方向に失敗する。
我々は,モデルに依存しない監査プロトコル,表面識別性テスト,およびデプロイされたモデルの監査のための再利用可能なインフラとして,コードと凍結した評価項目をリリースする。
論文 参考訳（メタデータ） (2026-08-24T16:55:09Z) - On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models [0.0]
我々は、制御権威行動を伴うプロンプトアクションモデルとして、誘導されたシステムを定式化する。
共有パイプライン内では,SFC(Semantic-Faithful Control)が実現不可能であることを示す。
根本原因とそれが要求するソリューションのクラスを特定します。
論文 参考訳（メタデータ） (2026-06-25T21:52:29Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Pramana: A Protocol-Layer Treatment of Claim Verification in Autonomous Agent Networks [0.0]
確率的検証パターン(自己整合性投票、レビュアー LLM アンサンブル)は、人工物ではなく、判断を生成する。
Pramana は、ワイヤフォーマットの欠如を定義している。すべての連続エージェント出力は、タイプ付き ClaimAttestation でラップされ、4つの変種のうちの1つでラップされる。
プラマナは3つの対称性を再現したモデル(38,563個の到達可能な状態、0個の不変な違反)でTLCの下で徹底的に検証された。
論文 参考訳（メタデータ） (2026-05-19T17:00:33Z) - The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。
SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。
偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
論文 参考訳（メタデータ） (2026-05-12T20:21:47Z) - SWAP: Towards Copyright Auditing of Soft Prompts via Sequential Watermarking [58.475471437150674]
ソフトプロンプト(SWAP)のための逐次透かしを提案する。
SWAPは、特定のディフェンダー指定のアウト・オブ・ディストリビューション・クラスを通じて、透かしを符号化する。
11のデータセットの実験では、SWAPの有効性、無害性、および潜在的適応攻撃に対する堅牢性を示す。
論文 参考訳（メタデータ） (2025-11-05T13:48:48Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳（メタデータ） (2024-02-28T21:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。