論文の概要: PlanGuard: A Guardrail for Multi-Step Plan Safety in Embodied Agents

• arxiv url: http://arxiv.org/abs/2609.32801v1
• Date: Sat, 26 Sep 2026 17:22:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:11:44.414775
• Title: PlanGuard: A Guardrail for Multi-Step Plan Safety in Embodied Agents
• Title（参考訳）: PlanGuard: エージェントのマルチステップ計画安全のためのガードレール
• Abstract要約: 我々はPlanGuardを紹介した。PlanGuardは、現在の環境における完全なマルチステップ計画の物理的安全性を評価する最初のプリエグゼクティブ検出器である。 PlanGuard-2B は平均 87.15% ACC と 87.21% F1 を達成する。
• 参考スコア（独自算出の注目度）: 50.056559961818685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied task planners may produce multi-step plans whose subtask dependencies and interactions with the environment create physical risks during execution. Yet existing safeguards overlook such compositional risks, as general-purpose guardrails focus on semantic harm and embodied safety detectors assess subtasks in isolation. To address this gap, we introduce PlanGuard, the first pre-execution detector that evaluates the physical safety of a complete multi-step plan in its current environment. For training and evaluation, we construct a Multi-Step Plan Safety (MSP-Safe) dataset through paired task construction, plan generation using diverse planners, and safety annotation by three judges. Task-oriented SFT on MSP-Safe establishes fundamental plan-safety assessment capabilities, yet a substantial gap remains between compact models suitable for real-time deployment and stronger but costlier large models. Accordingly, we propose Strong-Teacher Adaptive Compensation for On-Policy Distillation (STAC-OPD), which provides compact models with adaptive strong-teacher supervision along their on-policy trajectories. It combines token-level distribution transfer from a fine-tuned strong teacher with probability-routed sequence-level compensation, retaining student-generated targets when the student favors the reference safety decision and using teacher-reconstructed targets otherwise. Across all test subsets, PlanGuard-2B achieves average 87.15% ACC and 87.21% F1, demonstrating effective whole-plan physical-risk detection at compact model scale. Code and dataset will be publicly released.
• Abstract（参考訳）: タスクプランナーは、サブタスクの依存関係と環境とのインタラクションが実行中に物理的なリスクを生み出すマルチステッププランを作成することができる。 汎用ガードレールはセマンティック・ハーネスに重点を置いており、安全検知器は分離してサブタスクを評価する。 このギャップに対処するために、我々はPlanGuardを紹介します。PlanGuardは、現在の環境における完全なマルチステップ計画の物理的安全性を評価する最初のプレ実行検出器です。 トレーニングと評価のために,多段階計画安全(MSP-Safe)データセットを2つのタスク構成,多種多様なプランナーを用いた計画生成,および3人の裁判官による安全アノテーションを用いて構築する。 MSP-Safe上のタスク指向SFTは、基本的な計画安全評価機能を確立するが、リアルタイムデプロイメントに適したコンパクトモデルと、より強力だがよりコストのかかる大規模モデルの間には、大きなギャップが残っている。 そこで本研究では, オン・ポリティシィ蒸留(STAC-OPD)のためのストロング・ティラー適応補償(STAC-OPD)を提案し, オン・ポリティィ・トラジェクトリに沿って, 適応的なストロング・ティラーの指導を行うコンパクトモデルを提案する。 微調整の強い教師からのトークンレベルの配当と、確率を減らしたシーケンスレベルの補償を組み合わせ、生徒が基準安全決定を好んだときに生徒が生成した目標を維持し、それ以外は教師が再構成した目標を使用する。 全てのテストサブセットで、PlanGuard-2Bは平均87.15%のACCと87.21%のF1を達成する。 コードとデータセットが公開される。

関連論文リスト

• SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems [6.519619621963528]
  我々はSafeGen-LLMという名前の安全汎用型大規模言語モデルを提案する。 SafeGen-LLMは、タスクプランの安全性の満足度を高めるだけでなく、様々な領域における新しい安全性特性を一般化する。
  論文  参考訳（メタデータ） (2026-02-27T18:06:10Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling [74.41886258801209]
  本稿では,行動学習から原理的アライメントを分離する2段階の軌道計画フレームワークを提案する。 Plan-R1は計画の安全性と実現可能性を大幅に改善し、最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-05-23T09:22:19Z)
• Graphormer-Guided Task Planning: Beyond Static Rules with LLM Safety Perception [4.424170214926035]
  本稿では,大規模言語モデルと構造化安全モデリングを組み合わせたリスク対応タスク計画フレームワークを提案する。 提案手法は,空間的および文脈的危険因子を抽出し,動的セマンティック安全グラフを構築する。 既定の安全性制約に依存する既存の手法とは異なり、我々のフレームワークはコンテキスト認識型リスク認識モジュールを導入している。
  論文  参考訳（メタデータ） (2025-03-10T02:43:54Z)
• Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning [5.593642806259113]
  我々は、各タスクが安全を監視し、エージェントに報酬信号を提供するセーフガードと同期するメタラーニングプロセスをモデル化する。 セーフガードの設計は手動だが、高レベルでモデルに依存しないため、エンドツーエンドの安全な学習アプローチがもたらされる。 我々は、MinecraftにインスパイアされたGridworld、VizDoomゲーム環境、LLMファインチューニングアプリケーションでフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-10-31T16:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。