論文の概要: Representation Transitions Reveal Emerging Safety Risks in Multi-Turn LLM Agents

• arxiv url: http://arxiv.org/abs/2610.00400v1
• Date: Wed, 30 Sep 2026 12:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.634963
• Title: Representation Transitions Reveal Emerging Safety Risks in Multi-Turn LLM Agents
• Title（参考訳）: マルチターンLDMエージェントの新規安全性リスクの表現遷移
• Abstract要約: エージェントシステムに対するマルチターン攻撃は、個人が許容できる行動から有害な結果へと構成することができる。 このような攻撃はエージェントの内部表現に検出可能なシグネチャを残していることを示す。 この問題を解決するために、方向を指示し、良性なトラフィックをゼロに固定し、主要な変動方向を除去する。
• 参考スコア（独自算出の注目度）: 13.56536497318539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn attacks on agentic systems can compose individually permissible actions into harmful outcomes, challenging defenses that assess actions or states in isolation. We show that such attacks leave a detectable signature in the agent's internal representations: harmful behavior emerges as an accumulated representation transition across context updates, whose triggering context can be identified from the same signal. We further find that naive aggregation is confounded by benign representation drift, as a contrastive safety direction need not assign zero to benign transitions. We address this by denoising the direction, anchoring benign traffic at zero and removing its leading variation directions, with no runtime cost. These findings motivate DART, a runtime framework that detects and attributes representation shifts and intervenes with targeted reminders. Across six models and two multi-turn benchmarks, DART reduces attack success from 84% to 25% on MT-AgentRisk, catching every attack at a mean false-alarm rate of 12%, and from 97% to 52% on ASEval, at costs in benign non-refusal of 8% and 0%, respectively. On MT-AgentRisk, it outperforms ToolShield, the state-of-the-art multi-turn defense, on all six models: under the same protocol, ToolShield reaches only 55%. Denoising is critical: on ASEval, the undenoised monitor catches only 7%-40% of attacks, while the denoised monitor catches 60%-85%. The same monitor covers single-turn indirect injection without modification and adds only 0.14-0.56 s overhead per monitored step without requiring an auxiliary model, making it a lightweight complement to computation-heavy speculative defenses.
• Abstract（参考訳）: エージェントシステムに対するマルチターン攻撃は、個別に許容される行為を有害な結果に構成し、単独で行動や状態を評価するための防衛に挑戦することができる。 我々は、そのような攻撃がエージェントの内部表現に検出可能なシグネチャを残していることを示す:有害な振る舞いは、同じ信号からトリガーコンテキストを識別できるコンテキスト更新全体にわたって蓄積された表現遷移として現れる。 さらに、良性表現のドリフトによって、良性遷移にゼロを割り当てる必要がなくなるため、素性凝集は、良性表現のドリフトによって共起されることが分かる。 この問題を解決するために、方向を指示し、良質なトラフィックをゼロに固定し、主要な変動方向をランタイムコストなしで除去する。 これらの発見はDARTを動機付けている。DARTは実行時フレームワークで、表現シフトを検出し、属性を指定したリマインダーで介入する。 6つのモデルと2つのマルチターンベンチマークで、DARTは攻撃の成功をMT-AgentRiskで84%から25%に減らし、平均的な偽アラームレートで12%、ASEvalで97%から52%にそれぞれ8%と0%に削減した。 MT-AgentRiskでは、最先端のマルチターンディフェンスであるToolShieldを6つのモデルすべてで上回っている。 ASEvalでは、未確認モニタが7%から40%の攻撃しかキャッチできないのに対して、非特定モニタは60%～85%しかキャッチできない。 同じモニターは修正することなく単ターン間接注入をカバーし、補助的なモデルを必要とすることなくモニターされたステップあたり0.14-0.56秒のオーバーヘッドしか加えず、計算量の多い投機防御を軽量に補完する。

関連論文リスト

• Harnessing Disagreement: Detecting Correlated Agreement Blindness in Multi-Agent Triage [3.164789424470588]
  分散トリガー付きエスカレーションは、マルチエージェント仲裁において構造的な盲点を生み出すことができる。 本稿では,誘導性ランダムフォレスト (RF) エージェントと類似のケースベースk-アネレスト (k-NN) エージェントを組み合わせた指向性星系ARATを提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:35:00Z)
• Beyond False Stability: High-Noise Drift Gating for Test-Time Adversarial Defenses in Vision-Language Models [37.24612885977265]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショットの一般化を示すが、敵攻撃に対して非常に脆弱である。 最近のアプローチでは、CLIPの視覚的表現が摂動にどのように反応するかを利用する。 軽量ゲーティング信号として高雑音特徴ドリフトを用いた学習自由なプラグインドリフトゲート機構を提案する。
  論文  参考訳（メタデータ） (2026-06-02T14:49:04Z)
• The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure [11.822284421559814]
  これは、有害な要求がドメイン固有の物語の中に隠され、Workerレポートを通じてマネージャに伝達される攻撃である。 労働者の能力が増加するにつれて、平均的なシステムレベルの攻撃成功率(ASR)は18.4%から63.9%に増加し、94.4%がピークである。 非対称なドメイン能力とWorkersのペアを組み合わさった異種アンサンブル検証を提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:42:44Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Making Every Step Effective: Jailbreaking Large Vision-Language Models Through Hierarchical KV Equalization [74.78433600288776]
  HKVE (Hierarchical Key-Value Equalization) は、勾配最適化結果を選択的に受け入れる革新的なジェイルブレイクフレームワークである。 HKVEは既存の手法を20.43%,21.01%,26.43%のマージンで大幅に上回った。
  論文  参考訳（メタデータ） (2025-03-14T17:57:42Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。