論文の概要: Benchmarking Jailbreak Guardrails for Embodied Agents

• arxiv url: http://arxiv.org/abs/2610.06122v1
• Date: Mon, 05 Oct 2026 10:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:37:25.964318
• Title: Benchmarking Jailbreak Guardrails for Embodied Agents
• Title（参考訳）: 炭水化物処理用脱獄ガードレールのベンチマーク
• Abstract要約: 大規模言語モデルと視覚言語モデルを利用したエンボディードエージェントは、ますます物理的な環境に展開されている。 ジェイルブレイク攻撃は 物理的に有害な行動を起こすために エージェントを誘導する 既存の安全ベンチマークは、実施したモデル自体を評価する。 本報告では, 組込剤の脱獄ガードレールのシステム評価について述べる。
• 参考スコア（独自算出の注目度）: 16.337733905951872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied agents powered by large language models and vision-language models are increasingly deployed in physical environments, but jailbreak attacks can induce these agents to perform physically harmful actions. A growing number of guardrail methods have been proposed to intercept dangerous behavior before it is executed, yet existing safety benchmarks evaluate the embodied models themselves, leaving it unclear how well these guardrails actually defend an embodied agent in practice. We present the first systematic evaluation of jailbreak guardrails for embodied agents. To compare guardrails under identical conditions, we build a pluggable evaluation framework that treats the embodied agent as a fixed backend and each guardrail as a module that can intervene at the perception, planning, or control stage. We subject six representative guardrails to template-based and automated jailbreak attacks as well as safe instructions, and assess them at the system level along three dimensions: defense effectiveness, measured by the bypass rate and the hazard success rate in the simulator; usability, measured by the false-positive rate and the task completion rate on safe instructions; and efficiency, measured by the latency overhead added at runtime. Experiments on guardrails that span different intervention stages, decision mechanisms, and input modalities reveal a clear trade-off among the three dimensions, and show that no single guardrail dominates in all settings. We further analyze how intervention stage, decision mechanism, and input modality shape safety outcomes, and we offer practical guidance for selecting and designing guardrails for embodied agents.
• Abstract（参考訳）: 大規模言語モデルと視覚言語モデルを利用した身体的エージェントは、ますます物理的な環境に配備されているが、ジェイルブレイク攻撃はこれらのエージェントを物理的に有害な行動に誘導することができる。 多くのガードレール法が実行前に危険な動作を妨害するために提案されているが、既存の安全ベンチマークでは、実施済みのモデル自体を評価しており、これらのガードレールが実際に実施されたエージェントをどの程度守っているかは明らかになっていない。 本報告では, 組込剤の脱獄ガードレールのシステム評価について述べる。 同一条件下でのガードレールを比較するため,固定されたバックエンドとして,各ガードレールを知覚,計画,制御段階において介入可能なモジュールとして扱う,プラグ可能な評価フレームワークを構築した。 6つの代表的ガードレールをテンプレートベース・自動ジェイルブレイク攻撃と安全命令に配置し, 防衛効果, バイパス率, シミュレータのハザード成功率, 安全指示に対する偽陽性率, タスク完了率, 実行時の遅延オーバーヘッドによって測定された効率の3次元に沿ってシステムレベルで評価する。 異なる介入段階、決定機構、入力モダリティにまたがるガードレールの実験では、3次元の間に明らかなトレードオフが示され、すべての設定において単一のガードレールが支配的でないことを示す。 さらに, 介入の段階, 決定機構, 入力モード形状の安全性について分析し, 具体化エージェントのガードレールの選択と設計のための実践的ガイダンスを提供する。

関連論文リスト

• From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
  ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:34:35Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• JailWAM: Jailbreaking World Action Models in Robot Control [31.442262458957174]
  世界行動モデル(WAM)は、将来の世界状態と行動を共同で予測し、従来のモデルと比較してより強力な物理的操作能力を示す。 既存の研究は、重要なセキュリティギャップ、すなわちJailbreak攻撃に対するWAMの脆弱性に非常に注意を払っている。 我々は、WAMのための最初の専用ジェイルブレイク攻撃および評価フレームワークであるJailWAMを提案する。
  論文  参考訳（メタデータ） (2026-04-07T06:41:41Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Defending Large Language Models Against Jailbreak Exploits with Responsible AI Considerations [0.9732319879728966]
  大きな言語モデル(LLM)は、安全フィルタを回避し、有害または非倫理的な振る舞いを誘発するジェイルブレイクの悪用に影響を受けやすいままである。 この研究は、即時レベル、モデルレベル、トレーニングタイムの介入にまたがって、既存のジェイルブレイク防御の体系的な分類を提示している。
  論文  参考訳（メタデータ） (2025-11-24T09:38:11Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。