論文の概要: Silence Is Endorsement: Verification-Status Laundering in LLM Agent Pipelines
- arxiv url: http://arxiv.org/abs/2609.20211v1
- Date: Sat, 25 Jul 2026 20:01:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.636701
- Title: Silence Is Endorsement: Verification-Status Laundering in LLM Agent Pipelines
- Title（参考訳）: LLMエージェントパイプラインの検証-統計洗浄
- Abstract要約: LLMエージェントシステムの安全モニターは、元の証拠からではなく、要約や保管されたハンドオフからアクションを判断することが多い。
ハンドオフは、そのクレームが検証されていないという事実を失いながら、あるアクションが承認されたというクレームを保存します。
9つのオープンウェイトモニターと2つのホストされたモデルの中で、クレームのまわりの未検証の証明が取り除かれる間、アクションと承認の命題は固定されたままである。
この変更は、リスクのあるアクションの承認を、Llama-3.1-8Bで5%ドルから60%ドル、Qwen2.5-14Bで9%ドルから98%ドルに引き上げる。
- 参考スコア（独自算出の注目度）: 1.60468902992145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety monitors in LLM agent systems often judge actions from summaries or stored handoffs, not from the original evidence. This creates a simple but dangerous failure mode: the handoff preserves the claim that an action is authorized while losing the fact that the claim was never verified. We call this verification-status laundering. Across nine open-weight monitors and two hosted models, the action and authorization proposition remain fixed while we remove the unverified provenance framing around the claim. This change raises approval for risky actions from $5\%$ to $60\%$ on Llama-3.1-8B and from $9\%$ to $98\%$ on Qwen2.5-14B, with similarly large shifts on both hosted models. The failure also emerges in ordinary agent pipelines. Summarizers frequently weaken the status, memory compressors often remove it, and a full proposer--summarizer--memory--monitor pipeline raises risky approval to $57$--$81\%$ across three downstream monitors. Experiments on WildGuard and ATBench show the same pattern on independently authored harmful and unsafe requests: unsupported authorization claims make approval substantially more likely. Explicitly instructing monitors to reject unverified authorization is not a reliable cross-model fix: some models remain vulnerable, while others reject legitimate requests. Agent systems should therefore carry authorization provenance as structured state attached to the claim throughout the pipeline.
- Abstract（参考訳）: LLMエージェントシステムの安全モニターは、元の証拠からではなく、要約や保管されたハンドオフからアクションを判断することが多い。
ハンドオフは、そのクレームが検証されていないという事実を失いながら、あるアクションが承認されたというクレームを保存します。
私たちはこの検証基準を洗浄と呼ぶ。
9つのオープンウェイトモニターと2つのホストされたモデルの中で、クレームのまわりの未検証の証明が取り除かれる間、アクションと承認の命題は固定されたままである。
この変更は、リスクのあるアクションの承認を、Llama-3.1-8Bで$5\%から$60\%、Qwen2.5-14Bで$9\%から$98\%に引き上げる。
障害は通常のエージェントパイプラインでも発生します。
サムマリザーはステータスをしばしば弱め、メモリ圧縮機はそれをしばしば取り除き、完全なプロジェクタ-サマライザー-メモリ-モニターパイプラインは3つのダウンストリームモニタで57ドルから81ドル%までリスクの高い承認を得る。
WildGuardとATBenchの実験では、独立に認可された有害なリクエストと安全でないリクエストに同じパターンが示されている。
明確な認証を拒否するようにモニターに指示するのは、信頼性の高いクロスモデル修正ではない。
したがってエージェントシステムは、パイプライン全体を通してクレームにアタッチされた構造化状態として、承認前処理を実行する必要がある。
関連論文リスト
- How Strongly Should Task State Influence an LLM Agent? [20.501736782803743]
ロングホライズンに割り当てられた作業は、タスクの状態を追跡するためにLLMエージェントを必要とする。
表示、説明、強制された状態からどれだけの信頼性があるかは、誰も知りません。
タスクルール、モデル、ペア化されたエピソードを修正し、タスク状態がエージェントにどれだけ強く到達するかを変える。
論文 参考訳（メタデータ） (2026-09-22T04:42:44Z) - Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
リフレクションスタイルのエージェントで監査フラグをバインドすると、監査官を変更することなく、攻撃の成功率が大幅に低下する。
実行確率から検出確率を分離する$p_d$$$p_e$は、すべてのフレームワークでデフォルトで$p_e approx 0$を確立する。
論文 参考訳（メタデータ） (2026-09-14T09:46:59Z) - AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes [38.37599802008238]
商用LLM APIは特定の基盤モデルを宣伝するが、提供されたバックボーンは静かに代用され、定量化され、あるいはラップされることがある。
既存の監査はすべて、テキスト出力チャネルからバックボーンアイデンティティを決定する。
本稿では,AgentProv(AgentProv)について紹介する。
論文 参考訳（メタデータ） (2026-08-30T08:22:12Z) - The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails [41.76584230487777]
我々は,不正誘導攻撃(Unsafe induction Attacks)を導入し,敵が正当性のあるユーザ要求を拒否するためにガードモデルをトリガーする,不可避の安全なイメージを配布する。
非安全セマンティック蒸留 (USD) を提案し, 敵の摂動を非安全コンテンツの分布表現と整合させる。
USDは攻撃の成功率84%を達成し、既存の手法を上回り、現在のマルチモーダル安全アーキテクチャの基本的脆弱性を明らかにしている。
論文 参考訳（メタデータ） (2026-08-02T16:49:25Z) - Zero Hallucination, by Construction: Hallucination-Aware Layered Oversight for Trustworthy Enterprise AI [39.17006317116773]
我々は、「ゼロ幻覚」はモデルが持つ性質ではなく、システムが強制する性質であると主張する。
本稿では,幻覚を最小限の障害モードではなく,持続可能な障害モードとして扱う保証アーキテクチャであるHALOを提案する。
論文 参考訳（メタデータ） (2026-07-20T12:34:44Z) - Thinking Out Loud: Real-Time Deception Monitoring in Asymmetric LLM Negotiations [0.0]
軽量リアルタイムチェーンオブ思想モニタは、非対称な交渉中に戦略的偽装を検出することができる。
実験により、このモニターは買い手の歩行率を増加させるが、永続的な情報ギャップが明らかになる。
論文 参考訳（メタデータ） (2026-06-13T12:35:46Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing [75.56230265544042]
大規模テキスト・ツー・イメージ(T2I)拡散モデルにより、前例のない創造的応用が可能になったが、その無許可の使用は、深刻な知的財産権の懸念を提起している。
層適応平滑化に基づくT2Iモデルのための最初の認定MOV法であるCert-LASを提案する。
特定の条件下では、悪意のある除去攻撃があっても、我々のCert-LASは信頼性の高い検証が可能である。
論文 参考訳（メタデータ） (2026-05-28T11:54:52Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳（メタデータ） (2026-05-18T23:40:43Z) - IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。
IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
論文 参考訳（メタデータ） (2026-04-22T03:03:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。