論文の概要: DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model

• arxiv url: http://arxiv.org/abs/2608.05695v1
• Date: Thu, 06 Aug 2026 07:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.708941
• Title: DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model
• Title（参考訳）: DreamGuard: リスクを意識した世界モデルによるLLMエージェントの効率的な実行時ガードレール
• Abstract要約: 大規模言語モデル (LLM) エージェントは現実世界のシステムと対話しやすくなっている。 安全でないアクションは、外部の状態、ユーザデータ、下流サービスに不可逆的な結果をもたらす可能性がある。 本研究では,リスク認識型世界モデルを中心に構築されたLDMエージェントのプロアクティブガードレールであるDreamGuardを提案する。
• 参考スコア（独自算出の注目度）: 14.643297355742185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language model (LLM) agents increasingly invoke external tools and interact with real-world systems, unsafe actions may cause irreversible consequences on external states, user data, and downstream services. Recent runtime guardrails mitigate such risks by checking proposed actions before execution, but many remain reactive: they primarily assess the apparent safety of the current action, lacking an explicit model of how risk evolves across the trajectory. This limitation creates a critical blind spot for long-horizon risks, where individually benign-looking actions can gradually drift the agent toward hazardous states. In response, we propose DreamGuard, a proactive guardrail for LLM agents built around a risk-aware world model. The world model maintains a compact recurrent latent state over the trajectory and predicts future latent states from which DreamGuard derives immediate-hazard and prefix-risk evidence. It then fuses these multi-horizon signals into intervention decisions before execution. Experiments across four benchmarks and an online guardrail evaluation show that DreamGuard outperforms generic, reactive, and proactive guardrail baselines, achieves the best safety-utility trade-off among evaluated guardrails, and maintains an average end-to-end latency of 25 ms per call.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ますます外部ツールを呼び出し、現実世界のシステムと対話するようになり、安全でないアクションは、外部状態、ユーザデータ、ダウンストリームサービスに不可逆的な結果をもたらす可能性がある。 最近のランタイムガードレールは、実行前に提案されたアクションをチェックすることでそのようなリスクを軽減するが、多くは反応しない。 この制限は長期のリスクにとって重要な盲点となり、個々人の良心的な行動が危険状態に向かって徐々にエージェントを移動させる。 そこで我々は,リスク認識型世界モデルを中心に構築されたLDMエージェントのプロアクティブガードレールであるDreamGuardを提案する。 世界モデルは軌道上のコンパクトな反復潜時状態を維持し、ドリームガードが即時ハザードとプレフィックスリスクの証拠を導出する将来の潜時状態を予測する。 その後、これらのマルチ水平信号は実行前に介入決定に融合する。 4つのベンチマークとオンラインガードレール評価実験により、DreamGuardは一般的な、リアクティブ、アクティブなガードレールベースラインを上回っ、評価されたガードレールの中で最高の安全ユーティリティトレードオフを実現し、1コールあたり平均25ミリ秒のエンドツーエンドレイテンシを維持している。

関連論文リスト

• TrojanWorld: Backdooring World-Model Agents via Imagination Steering [65.38754125569848]
  TrojanWorldは、世界モデルエージェントのためのバックドアフレームワークで、内部の想像力を操ることで攻撃者が特定した振る舞いを誘導する。 トリガーアクティベーションの下では、トロイジャンワールドは0.026までの目標アクション偏差を達成し、対応するクリーンパフォーマンスの少なくとも98.8%を維持している。
  論文  参考訳（メタデータ） (2026-09-07T05:14:10Z)
• Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety [12.022506016268112]
  マルチターン分解攻撃では、有害な目的を個別にもっともらしい要求とツールコールに分散することができる。 本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件とした世代防衛である分散リスク(ReDiR)を提案する。 我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-08-26T12:28:35Z)
• From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
  ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:34:35Z)
• BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
  BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。 我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
  論文  参考訳（メタデータ） (2026-05-31T11:16:18Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents [60.23552141928126]
  PSG-AgentはLLMベースのエージェントのためのパーソナライズされた動的システムである。 まずPSG-Agentは、安定した特性のために相互作用履歴をマイニングすることでパーソナライズされたガードレールを作成する。 第二に、PSG-Agentは特別なガードでエージェントパイプラインを横断する継続的監視を実装している。
  論文  参考訳（メタデータ） (2025-09-28T03:31:59Z)
• Pro2Guard: Proactive Runtime Enforcement of LLM Agent Safety via Probabilistic Model Checking [8.970702398918924]
  大規模言語モデル(LLM)エージェントは、ロボット工学、仮想アシスタント、Webオートメーションといった分野にまたがる強力な自律能力を示す。 AgentSpecのような既存のルールベースの執行システムは、リアクティブな安全ルールの開発に重点を置いている。 本稿では,確率的到達可能性解析に基づくプロアクティブ実行時実行フレームワークPro2Guardを提案する。
  論文  参考訳（メタデータ） (2025-08-01T10:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。