論文の概要: PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation
- arxiv url: http://arxiv.org/abs/2606.08414v1
- Date: Sun, 07 Jun 2026 02:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.09498
- Title: PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation
- Title(参考訳): PACT:身体操作における拡散政策の自己進化型物理安全アライメント
- Authors: Lingxuan Wu, Zijian Zhu, Lizhong Wang, Chengyang Ying, Huayu Chen, Xiao Yang, Fangming Liu, Jun Zhu,
- Abstract要約: 既存のアプローチでは、トレーニング中に早期に安全を課すか、テスト時に外部ガードレールを介して反応する。
本研究では,制約可能な領域に事前の拡散政策を立案する自己進化型ポストトレーニングフレームワークである,制約付き軌道の物理安全アライメント(PACT)を提案する。
シミュレーションおよび実世界の実施された操作ベンチマークでは、PACTは安全性違反を平均で31.0%削減し、タスク成功を30.7%改善した。
- 参考スコア(独自算出の注目度): 38.43792325467372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion policies have achieved remarkable success in robotic manipulation, yet they often fail to satisfy strict physical constraints required for safe deployment. Existing approaches impose safety either prematurely during training or reactively via external guardrails at test time, limiting policy expressivity and overall scalability. We propose Physical safety Alignment for Constrained Trajectories (PACT), a self-evolving post-training framework that projects pretrained diffusion policies onto constraint-feasible regions without accessing demonstration data or task rewards. PACT distills constraint gradients into the diffusion model through a reverse-KL objective with dense supervision across timesteps. It incorporates a curriculum that progressively tightens constraints while maintaining theoretically bounded policy shift and monotone improvement, mitigating the safety-performance trade-off from catastrophic forgetting. On simulated and real-world embodied manipulation benchmarks, PACT significantly reduces safety violations by 31.0% on average while improving task success by 30.7%.
- Abstract(参考訳): 拡散政策はロボット操作において顕著な成功を収めてきたが、安全な配置に必要な厳密な物理的制約を満たさないことが多い。
既存のアプローチでは、トレーニング中に早期に、あるいはテスト時に外部ガードレールを介してリアクティブに安全性を課し、ポリシー表現性と全体的なスケーラビリティを制限している。
実演データやタスク報酬にアクセスせずに,事前学習した拡散政策を制約可能な領域に投射する自己学習後フレームワークである,制約付き軌道の物理的安全性調整(PACT)を提案する。
PACTは、時間ステップをまたいだ厳密な監督を伴う逆KLの目的を通じて、拡散モデルへの制約勾配を蒸留する。
理論的に拘束された政策シフトと単調な改善を維持しながら、制約を徐々に厳しくするカリキュラムを取り入れており、破滅的な忘れ物から安全性とパフォーマンスのトレードオフを緩和している。
シミュレーションおよび実世界の実施された操作ベンチマークでは、PACTは安全性違反を平均で31.0%削減し、タスク成功を30.7%改善した。
関連論文リスト
- VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳(メタデータ) (2026-06-02T17:42:17Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳(メタデータ) (2026-05-12T09:56:28Z) - BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。
BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文 参考訳(メタデータ) (2026-02-23T18:19:46Z) - Constrained Policy Optimization via Sampling-Based Weight-Space Projection [3.736063711613611]
安全クリティカルな学習は、安全な運用体制を離れることなく、パフォーマンスを向上させる政策を必要とする。
モデルパラメータが未知のロールアウトに基づく安全制約を満たすような制約付きポリシー学習について検討する。
制約関数への勾配アクセスを必要とせずにパラメータ空間内で直接安全を強制する,サンプリングベースの重み空間投影法であるSCPOを提案する。
論文 参考訳(メタデータ) (2025-12-15T19:00:01Z) - Constraint-Aware Reinforcement Learning via Adaptive Action Scaling [6.6638441348404855]
本稿では,予測制約違反に基づいてエージェントの行動をスケールするモジュール型コスト認識レギュレータを提案する。
規制当局は、行動の抑制を回避しつつ、制約違反を最小限に抑えるよう訓練されている。
提案手法は, SAC や TD3 などの非政治的 RL 手法とシームレスに連携し, 安全ガイムの移動作業における最先端のリターン・ツー・コスト比を実現する。
論文 参考訳(メタデータ) (2025-10-13T14:59:28Z) - Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion
Model [23.93820548551533]
FISOR(FeasIbility-guided Safe Offline RL)を提案する。
FISORでは、変換された最適化問題に対する最適ポリシーは、重み付けされた行動クローニングの特別な形態で導出することができる。
FISORは、ほとんどのタスクにおいて最上位のリターンを達成しつつ、すべてのタスクにおいて安全満足を保証できる唯一の方法であることを示す。
論文 参考訳(メタデータ) (2024-01-19T14:05:09Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z) - Learning Barrier Certificates: Towards Safe Reinforcement Learning with
Zero Training-time Violations [64.39401322671803]
本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。
本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
論文 参考訳(メタデータ) (2021-08-04T04:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。