論文の概要: SoNIC: Safe Social Navigation with Adaptive Conformal Inference and Constrained Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.17460v2
• Date: Thu, 06 Feb 2025 18:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:46.660556
• Title: SoNIC: Safe Social Navigation with Adaptive Conformal Inference and Constrained Reinforcement Learning
• Title（参考訳）: SoNIC:適応型コンフォーマル推論と制約付き強化学習による安全なソーシャルナビゲーション
• Authors: Jianpeng Yao, Xiaopan Zhang, Yu Xia, Zejin Wang, Amit K. Roy-Chowdhury, Jiachen Li,
• Abstract要約: SoNICは適応型共形推論と制約付き強化学習を統合する最初のアルゴリズムである。 本手法は,従来の最先端RL法よりも11.67%高い96.93%の成功率を達成する。 実験により,疎密な群集と密集した群集の両方と相互作用して,堅牢で社会的に礼儀正しく意思決定できることを示した。
• 参考スコア（独自算出の注目度）: 26.554847852013737
• License:
• Abstract: Reinforcement learning (RL) enables social robots to generate trajectories without relying on human-designed rules or interventions, making it generally more effective than rule-based systems in adapting to complex, dynamic real-world scenarios. However, social navigation is a safety-critical task that requires robots to avoid collisions with pedestrians, whereas existing RL-based solutions often fall short of ensuring safety in complex environments. In this paper, we propose SoNIC, which to the best of our knowledge is the first algorithm that integrates adaptive conformal inference (ACI) with constrained reinforcement learning (CRL) to enable safe policy learning for social navigation. Specifically, our method not only augments RL observations with ACI-generated nonconformity scores, which inform the agent of the quantified uncertainty but also employs these uncertainty estimates to effectively guide the behaviors of RL agents by using constrained reinforcement learning. This integration regulates the behaviors of RL agents and enables them to handle safety-critical situations. On the standard CrowdNav benchmark, our method achieves a success rate of 96.93%, which is 11.67% higher than the previous state-of-the-art RL method and results in 4.5 times fewer collisions and 2.8 times fewer intrusions to ground-truth human future trajectories as well as enhanced robustness in out-of-distribution scenarios. To further validate our approach, we deploy our algorithm on a real robot by developing a ROS2-based navigation system. Our experiments demonstrate that the system can generate robust and socially polite decision-making when interacting with both sparse and dense crowds. The video demos can be found on our project website: https://sonic-social-nav.github.io/.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、人間によって設計されたルールや介入に頼ることなく、社会ロボットが軌道を生成することを可能にする。 しかし、ソーシャルナビゲーションは、歩行者との衝突を避けるためにロボットを必要とする安全上重要なタスクである一方、既存のRLベースのソリューションは、複雑な環境での安全を確保するには不十分であることが多い。 本稿では,適応型共形推論(ACI)と制約付き強化学習(CRL)を統合し,ソーシャルナビゲーションのための安全なポリシー学習を可能にするアルゴリズムとして,私たちの知る限り,SoNICを提案する。 具体的には,ACIが生成する非整合性スコアを用いてRL観察を増強するだけでなく,これらの不確実性評価を用いて,制約付き強化学習を用いてRLエージェントの挙動を効果的に導出する。 この統合は、RLエージェントの挙動を規制し、安全クリティカルな状況に対処することを可能にする。 標準的なCrowdNavベンチマークでは、従来の最先端RL法よりも11.67%高い96.93%の成功率を実現し、その結果、衝突が4.5倍減少し、2.8倍の人体将来の軌道への侵入が減少し、また、アウト・オブ・ディストリビューションシナリオにおける堅牢性も向上した。 我々のアプローチをさらに検証するために、ROS2ベースのナビゲーションシステムを開発することにより、実際のロボットにアルゴリズムをデプロイする。 実験により,疎密な群集と密集した群集の両方と相互作用して,堅牢で社会的に礼儀正しく意思決定できることを示した。 ビデオデモはプロジェクトのWebサイト(https://sonic-social-nav.github.io/)で見ることができる。

関連論文リスト

• Stranger Danger! Identifying and Avoiding Unpredictable Pedestrians in RL-based Social Robot Navigation [1.74102619371866]
  我々は、RL政策が不慣れな状況において追加の注意を維持することを奨励する学習プロセスの変更を提案する。 従来のSARLポリシーと比較して、我々の修正されたポリシーは、同様の航法時間と経路長を維持しながら、衝突回数を82%削減する。 また、これらの修正を他のRLポリシーに適用する方法を説明し、我々のアプローチのいくつかの重要なハイレベルな振る舞いが物理ロボットに伝達されることを実証する。
  論文  参考訳（メタデータ） (2024-07-08T15:58:33Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
  有効モデル選択に現代検証エンジンをどのように利用できるかを示す。 具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。 我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
  論文  参考訳（メタデータ） (2022-05-26T17:56:43Z)
• Minimizing Safety Interference for Safe and Comfortable Automated Driving with Distributional Reinforcement Learning [3.923354711049903]
  そこで本稿では,望ましい快適さと実用性に基づいて,実行時の保守性レベルを調整可能な適応ポリシーを学習するための分散強化学習フレームワークを提案する。 提案アルゴリズムは,認識ノイズが2倍高い場合にも信頼性を向上できるポリシを学習し,非閉塞交差点における自動マージと踏切の訓練構成を示す。
  論文  参考訳（メタデータ） (2021-07-15T13:36:55Z)
• Rule-Based Reinforcement Learning for Efficient Robot Navigation with Space Reduction [8.279526727422288]
  本稿では,強化学習(RL)技術を用いた効率的なナビゲーションに焦点を当てた。 軌道を縮小するために減速ルールを採用し、冗長な探査空間を効果的に削減します。 ヘックスグリッド環境における実際のロボットナビゲーション問題に対する実験は、RuRLが航法性能を向上させることを実証している。
  論文  参考訳（メタデータ） (2021-04-15T07:40:27Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。