論文の概要: SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.13737v1
- Date: Fri, 09 Oct 2026 15:32:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.65463
- Title: SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
- Title（参考訳）: SafeDiSTL: 安全なマルチエージェント強化学習のための共同制約の分解
- Abstract要約: 制約付きマルチエージェント強化学習フレームワークSafeDiSTLを提案する。
我々はSignal Temporal Logicを用いて、実行時最大コストインクリメントによるエピソードレベルの違反を測定する。
本研究では,協調ペイロード輸送,コネクテッドナビゲーション,ネットワーク交通制御タスクにおけるフレームワークについて検討する。
- 参考スコア（独自算出の注目度）: 8.961402557566847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cooperative multi-agent tasks often impose constraints on a shared objective or collective safety. A team level violation cost function can measure this constraint outcome, but does not distinguish which agents' actions most strongly influence that violation. We present SafeDiSTL, a constrained multi-agent reinforcement learning framework that allows for credit assignment even with joint constraint measurements. We use Signal Temporal Logic (STL) robustness to measure episode-level violation through running-maximum cost increments. Smooth full-episode robustness and differentiable dynamics provide action sensitivities, which allocate each cost increment across agents at the same decision time. These sensitivities account for delayed effects when weighting agents' shares of each cost increment. We study the framework in cooperative payload transport, connected navigation, and networked traffic control tasks. SafeDiSTL achieves 1.6-5.1x the safe-success rate in transport, improves navigation safe-success by 11.1%, and delivers 50-68% more throughput in traffic when compared to constrained baselines. Results demonstrate a strong improvement of the learned policy in dealing with shared constraint while retaining the performance of unconstrained policies.
- Abstract（参考訳）: 協調的マルチエージェントタスクは、しばしば共通の目的または集合的安全に制約を課す。
チームレベルの違反コスト関数は、この制約された結果を測定することができるが、どのエージェントのアクションがその違反に最も強く影響するかを区別しない。
制約付きマルチエージェント強化学習フレームワークであるSafeDiSTLを提案する。
我々はSTL(Signal Temporal Logic)のロバスト性を用いて,実行-最大コストインクリメントによるエピソードレベルの違反を測定する。
Smooth full-episode robustness と differentiable dynamics は、エージェント間で各コストインクリメントを同時に決定するアクション感受性を提供する。
これらの感度は、各コストインクリメントのエージェントの株を重み付けする際の遅延効果を説明できる。
本研究では,協調ペイロード輸送,コネクテッドナビゲーション,ネットワーク交通制御タスクにおけるフレームワークについて検討する。
SafeDiSTLは、輸送の安全度1.6-5.1倍、ナビゲーションの安全度11.1%の改善、および制約されたベースラインに比べてトラフィックの50-68%のスループットを提供する。
その結果,非制約政策の性能を維持しつつ,共有制約に対処する上で,学習方針の大幅な改善が示された。
関連論文リスト
- Failure-Resilient Multi-Robot Coordination with $k$-Connectivity Constrained Submodular Maximization [15.481084719047216]
本稿では、タスク性能、レジリエンス、通信接続性を共同で検討したResilient $k$-Connected Subular Maximizationを紹介する。
本手法は, 最大[1-_f(mathI),h(N, ))]2 frac1_f (1-e-_f)$の係数で, 最適接続性を考慮したレジリエントな割当を行う。
論文 参考訳（メタデータ） (2026-10-09T06:04:45Z) - Learning to Leverage Compliance: A Policy-Admittance Learning Framework for Robotic Insertion [2.3732579195955665]
本研究では,一定条件下での実行時インタラクションを通じて視覚ポリシーをガイドする政策適応学習フレームワークを提案する。
マルチレートフィードバック機構は、ハイレートなコンタクト・インタラクション記録をポリシ・トランジション・報酬に集約する。
コンフリクト形成を行うことで, 心房中隔膜接触条件のコンフリクト密度の中央値が約53%減少することを示す。
論文 参考訳（メタデータ） (2026-09-25T15:58:13Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。
BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2026-02-23T18:19:46Z) - Constraint-Aware Reinforcement Learning via Adaptive Action Scaling [6.6638441348404855]
本稿では,予測制約違反に基づいてエージェントの行動をスケールするモジュール型コスト認識レギュレータを提案する。
規制当局は、行動の抑制を回避しつつ、制約違反を最小限に抑えるよう訓練されている。
提案手法は, SAC や TD3 などの非政治的 RL 手法とシームレスに連携し, 安全ガイムの移動作業における最先端のリターン・ツー・コスト比を実現する。
論文 参考訳（メタデータ） (2025-10-13T14:59:28Z) - Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。
アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。
対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
論文 参考訳（メタデータ） (2025-10-06T15:52:12Z) - AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。
外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
論文 参考訳（メタデータ） (2025-10-02T02:06:30Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。
安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。
本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
論文 参考訳（メタデータ） (2024-02-23T23:22:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。