論文の概要: EMBGuard: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents
- arxiv url: http://arxiv.org/abs/2605.30924v1
- Date: Fri, 29 May 2026 07:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.441499
- Title: EMBGuard: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents
- Title（参考訳）: EMBGuard: バイオエージェントの安全計画のための危険を意識したガードレールの構築
- Abstract要約: EMBGuardはMLLMを動力とする実環境に配備されるエンボディエージェントの安全ガードレールである。
有害な構成を特定し、潜在的なリスクに関する自然言語の説明を提供する。
プロプライエタリなMLLMと性能的に競合する一方で、リアルタイムデプロイメントを妨げる偽陽性率を大幅に削減する。
- 参考スコア（独自算出の注目度）: 20.98866554731746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: MLLM-powered embodied agents deployed in real-world environments encounter physical hazards. However, existing approaches lack explicit mechanisms for identifying hazards and reasoning about action-conditioned risks, leading agents to either miss risky interactions or over-identify risks. To address this, we propose EMBGuard, the first MLLM-based safety guardrail for embodied agents designed to decouple physical risk reasoning from agent policy. By evaluating a (visual observation, action) pair, EMBGuard identifies hazardous configurations and provides natural language explanations of potential risks. Alongside EMBGuard, we contribute EMBHazard, a training dataset of 15.1K action-conditioned pairs, and EMBGuardTest, a benchmark of 329 manually curated real-world scenarios spanning seven physical risk categories. Through compositional variation of hazards and actions, we generate diverse risky and benign scenarios that agents may encounter during planning. Despite its compact size (2B, 4B), EMBGuard achieves performance competitive with proprietary MLLMs (e.g., GPT-5.1, Gemini-2.5-Pro) while significantly reducing the false-positive rates that hinder real-time deployment. We make the code, data, and models publicly available at https://github.com/dongwxxkchoi/EMBGuard
- Abstract（参考訳）: MLLMを動力とするエンボディエージェントは現実世界の環境に配備され、物理的に危険にさらされる。
しかし、既存のアプローチでは、危険を特定し、行動条件付きリスクを推論する明確なメカニズムが欠如しており、エージェントはリスクのある相互作用を見逃すか、リスクを過度に識別する。
そこで本稿では,エージェントポリシーから物理的リスク推論を分離するための実装エージェントのためのMLLMベースの安全ガードレールであるEMBGuardを提案する。
EMBGuardは、(視覚的観察、行動)ペアを評価することで、有害な構成を特定し、潜在的なリスクに関する自然言語の説明を提供する。
EMBGuardとともに、15.1Kのアクション条件付きペアのトレーニングデータセットであるEMBHazardと、7つの物理的リスクカテゴリにまたがる329の実際のシナリオを手作業でキュレートしたベンチマークであるEMBGuardTestにコントリビュートする。
リスクと行動の構成的バリエーションを通じて、エージェントが計画中に遭遇する可能性のある、さまざまなリスクと良性のシナリオを生成します。
コンパクトなサイズ(2B、4B)にもかかわらず、EMBGuardはプロプライエタリなMLLM(例えばGPT-5.1、Gemini-2.5-Pro)と性能を競い合う一方で、リアルタイムデプロイメントを妨げる偽陽性率を大幅に削減している。
コード、データ、モデルはhttps://github.com/dongwxxkchoi/EMBGuardで公開しています。
関連論文リスト
- DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model [14.643297355742185]
大規模言語モデル (LLM) エージェントは現実世界のシステムと対話しやすくなっている。
安全でないアクションは、外部の状態、ユーザデータ、下流サービスに不可逆的な結果をもたらす可能性がある。
本研究では,リスク認識型世界モデルを中心に構築されたLDMエージェントのプロアクティブガードレールであるDreamGuardを提案する。
論文 参考訳（メタデータ） (2026-08-06T07:37:49Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning [35.91124942693998]
大規模言語モデル(LLM)エージェントは、複雑な環境での操作にモデルコンテキストプロトコル(MCP)をますます活用している。
我々は,将来の安全リスクに関する予測的推論を通じてツールの取得を制約するサーバサイドディフェンスプラグインであるSafeMCPを提案する。
論文 参考訳（メタデータ） (2026-06-01T09:48:41Z) - AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security [147.50046962090795]
軽量でスケーラブルなエージェント安全アライメントフレームワークを提案する。
CodexとOpenClawの実行シナリオの緊急リスクに対応するため、エージェント安全分類を更新する。
AgentDoG 1.5 に基づいて,高効率なエージェント安全性 SFT と RL トレーニング環境を構築した。
我々は,AgentDoG 1.5をトレーニング不要のオンラインガードレールとしてリアルタイム安全モデレーションとして展開する。
論文 参考訳（メタデータ） (2026-05-28T11:48:37Z) - HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。
CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。
実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
論文 参考訳（メタデータ） (2026-03-15T13:09:43Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - SafeMind: Benchmarking and Mitigating Safety Risks in Embodied LLM Agents [7.975014390527644]
大規模言語モデル(LLM)を利用したエージェントは、高度な計画能力を継承するが、物理世界との直接的な相互作用は安全上の脆弱性を露呈する。
SafeMindBenchは、4つのタスクカテゴリ(Instr-Risk、Env-Risk、Order-Fix、Req-Align)にまたがる5,558のサンプルを備えたマルチモーダルベンチマークである。
SafeMindAgentはモジュール型Planner-Executorアーキテクチャで、3つのケースドセーフモジュールを統合し、安全性制約を推論プロセスに組み込む。
論文 参考訳（メタデータ） (2025-09-30T07:24:04Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳（メタデータ） (2025-06-17T16:37:35Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。