論文の概要: Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety
- arxiv url: http://arxiv.org/abs/2608.25711v1
- Date: Wed, 26 Aug 2026 12:28:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.821257
- Title: Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety
- Title（参考訳）: 分散リスクの再評価:多サイクルエージェント安全のための軌道依存行動生成
- Abstract要約: マルチターン分解攻撃では、有害な目的を個別にもっともらしい要求とツールコールに分散することができる。
本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件とした世代防衛である分散リスク(ReDiR)を提案する。
我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
- 参考スコア（独自算出の注目度）: 12.022506016268112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using LLM agents extend security risks beyond generated text to actions that affect external systems. Under multi-turn decomposition attacks, a harmful objective can be distributed across individually plausible requests and tool calls, becoming apparent only from the accumulated trajectory. Existing defenses either rely on auxiliary online reasoning to recover long-horizon security evidence or assess actions after generation, often incurring additional inference cost or depending on runtime-specific action representations. We propose \emph{Reassembling Distributed Risk} (ReDiR), a generation-time defense that conditions action generation on trajectory-level security evidence. Before each action, ReDiR compresses the current trajectory into a compact latent safety representation and injects it into the frozen base model. The representation is learned through same-model, cross-view supervision, where safe behavior from an explicit task view provides supervision for recovering distributed safety evidence from the original multi-turn trajectory. This design enables ReDiR to integrate cross-turn security information directly within the generation process without relying on a separate action-level safety module. We evaluate ReDiR on two agent-safety benchmarks across three model families and eight held-out tool domains. ReDiR reduces attack success rates to below 8\%, transfers to unseen tool domains, and preserves benign fidelity with low computational overhead.
- Abstract（参考訳）: ツールを使用するLLMエージェントは、生成されたテキスト以外のセキュリティリスクを外部システムに影響を与えるアクションに拡張する。
マルチターン分解攻撃では、有害な目的が個々のもっともらしい要求やツールコールに分散され、蓄積された軌道からのみ明らかになる。
既存の防衛は、長期のセキュリティ証拠を回収する補助的なオンライン推論に依存するか、生成後の行動を評価するかのいずれかであり、しばしば追加の推論コストを発生させるか、実行時固有の行動表現に依存する。
本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件づけた世代防衛である,分散型リスクの再編成(ReDiR)を提案する。
各動作の前に、ReDiRは電流軌跡をコンパクトな潜在安全性表現に圧縮し、凍結ベースモデルに注入する。
この表現は、明示的なタスクビューからの安全な行動が、元のマルチターン軌道から分散安全証拠を回収するための監督を提供する、同じモデル、クロスビューの監督を通して学習される。
この設計により、ReDiRは別のアクションレベルの安全モジュールに頼ることなく、生成プロセスに直接クロスターンセキュリティ情報を統合できる。
我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
ReDiRは攻撃成功率を8%以下に減らし、目に見えないツールドメインに転送し、計算オーバーヘッドの少ない良性を維持する。
関連論文リスト
- Self-Evolving Just-In-Time Memory for Proactive Embodied Safety [13.342067741014455]
既存の安全アプローチは、安全でないアクションをブロックしたり、過度に注意を喚起するために、ランタイムガードレールに依存しています。
我々は,プログレッシブ・スタンリング・ガードレールからアクティブ・ハザード対策まで,安全を具体化した自己進化型Just-In-Time Memoryフレームワークを紹介した。
論文 参考訳（メタデータ） (2026-06-26T14:26:24Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文 参考訳（メタデータ） (2026-06-03T18:00:04Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。
ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
論文 参考訳（メタデータ） (2026-05-05T00:21:00Z) - HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。
CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。
実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
論文 参考訳（メタデータ） (2026-03-15T13:09:43Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。