論文の概要: Only What You've Signed up For: Secure Workflows with Constrained Diffusion Agents
- arxiv url: http://arxiv.org/abs/2610.15177v1
- Date: Sat, 10 Oct 2026 20:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 02:14:46.697412
- Title: Only What You've Signed up For: Secure Workflows with Constrained Diffusion Agents
- Title(参考訳): サインアップしたことだけ:制限付き拡散エージェントによるセキュアワークフロー
- Abstract要約: 政策制約型拡散剤(CoDA)について紹介する。
CoDAは、拡散言語モデルの認知プロセス内で、タスク依存のセキュリティポリシーを直接実施する。
我々は,静的かつ適応的なインジェクション攻撃の下で,最先端の拡散言語モデルファミリ間のCoDAを評価する。
- 参考スコア(独自算出の注目度): 55.83789518862565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As agentic AI systems take on increasingly complex and consequential tasks, securing them against prompt injection becomes critical. Existing defenses often rely on detecting or reasoning about injected malicious instructions and can therefore remain vulnerable to adaptive attacks that optimize the injection itself. Diffusion language models (dLLMs), an emerging framework for language generation, offer a new opportunity for security enforcement: by iteratively refining their sequence wide predictions, they enable broader-scope constraint enforcement throughout generation. This paper introduces Policy-Constrained Diffusion Agents (CoDA), a framework that enforces task dependent security policies directly within the denoising process of diffusion language models. At each denoising step, CoDA projects token distributions onto a policy-compliant set, maintaining constraint satisfaction throughout generation. We evaluate CoDA across state-of-the-art diffusion language model families under both static and adaptive prompt-injection attacks. Results demonstrate substantial reductions in attack success rate with competitive task utility and practical inference overhead.
- Abstract(参考訳): エージェントAIシステムがますます複雑で連続的なタスクをこなすようになると、迅速なインジェクションの防止が重要になる。
既存の防御は、しばしば、注入された悪意のある命令を検知または推論することに依存し、それゆえ、インジェクション自体を最適化する適応攻撃に対して脆弱である。
言語生成の新たなフレームワークである拡散言語モデル(dLLM)は、セキュリティ強化のための新たな機会を提供する。
本稿では,拡散言語モデルの認知過程において,タスク依存型セキュリティポリシーを直接適用するフレームワークであるCoDA(Policy-Constrained Diffusion Agents)を紹介する。
各段階において、CoDAはトークンの配布をポリシーに準拠したセットに計画し、世代を通して制約満足度を維持します。
我々は,静的かつ適応的なインジェクション攻撃の下で,最先端の拡散言語モデルファミリ間のCoDAを評価する。
その結果、競争力のあるタスクユーティリティと実用的な推論オーバーヘッドによる攻撃成功率の大幅な低下が示された。
関連論文リスト
- Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。
本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。
本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
論文 参考訳(メタデータ) (2026-07-20T17:01:50Z) - PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections [51.8246149916068]
大きな言語モデル(LLM)は、外部のツールや環境と相互作用するエージェントシステムへと急速に進化しています。
LLMエージェントのプロアクティブな脆弱性暴露のための自動エージェント監査フレームワークPI-Hunterを提案する。
論文 参考訳(メタデータ) (2026-06-10T22:57:02Z) - Assessing Automated Prompt Injection Attacks in Agentic Environments [36.488797554085345]
LLMエージェントに対する自動プロンプトインジェクションアタックの総合的評価を行った。
我々は、AgentDojoフレームワーク内のエージェント設定に、White-box(GCG)とBlack-box(TAP)の両方のメソッドを適用する。
論文 参考訳(メタデータ) (2026-06-09T07:54:58Z) - Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳(メタデータ) (2026-04-07T08:43:36Z) - ICON: Indirect Prompt Injection Defense for Agents based on Inference-Time Correction [24.416258744287166]
ICONは、タスクの連続性を維持しながら攻撃を中和する、調査と軽減のためのフレームワークである。
ICONは競争力のある0.4%のASRを達成し、商業グレード検出器と一致し、50%以上のタスクユーティリティーゲインを得る。
論文 参考訳(メタデータ) (2026-02-24T09:13:05Z) - CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳(メタデータ) (2026-02-23T06:41:41Z) - Toward Safer Diffusion Language Models: Discovery and Mitigation of Priming Vulnerability [5.650647159993238]
拡散言語モデル (DLMs) は反復的 denoising を通じてトークンを並列に生成する。
本稿では, DLM が反復的 denoising プロセスから生じる致命的な脆弱性を明らかにする。
汚染された中間状態から安全な応答を生成するためにモデルを訓練するDLMに適した新しい安全アライメント手法を提案する。
論文 参考訳(メタデータ) (2025-10-01T06:35:23Z) - SecInfer: Preventing Prompt Injection via Inference-time Scaling [54.21558811232143]
emphSecInferは,インセンジェンス時間スケーリングに基づくインジェクション攻撃に対する新しい防御法である。
SecInferは、既存のインジェクション攻撃と適応的なインジェクション攻撃の両方を効果的に軽減し、最先端の防御と既存の推論時間スケーリングアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2025-09-29T16:00:41Z) - Constrained Discrete Diffusion [61.81569616239755]
本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。
CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
論文 参考訳(メタデータ) (2025-03-12T19:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。