論文の概要: Don't Let Your Robot be Harmful: Responsible Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2411.18289v1
• Date: Wed, 27 Nov 2024 12:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:31.202002
• Title: Don't Let Your Robot be Harmful: Responsible Robotic Manipulation
• Title（参考訳）: ロボットに害を与えてはいけない:責任あるロボット操作
• Authors: Minheng Ni, Lei Zhang, Zihan Chen, Lei Zhang, Wangmeng Zuo,
• Abstract要約: ロボット操作における人間の指示の実行は、深刻な安全性のリスクにつながる可能性がある。 i) 安全リスクを含むシナリオを自動生成し、仮想的なインタラクションを行う世界モデルと、(ii) 反射による結果を予測するメンタルモデルを含む。 本研究は, 安全行政がリスクを回避し, 合成データセットと実世界の両方の実験において, 効率的にタスクを完了できることを実証する。
• 参考スコア（独自算出の注目度）: 57.70648477564976
• License:
• Abstract: Unthinking execution of human instructions in robotic manipulation can lead to severe safety risks, such as poisonings, fires, and even explosions. In this paper, we present responsible robotic manipulation, which requires robots to consider potential hazards in the real-world environment while completing instructions and performing complex operations safely and efficiently. However, such scenarios in real world are variable and risky for training. To address this challenge, we propose Safety-as-policy, which includes (i) a world model to automatically generate scenarios containing safety risks and conduct virtual interactions, and (ii) a mental model to infer consequences with reflections and gradually develop the cognition of safety, allowing robots to accomplish tasks while avoiding dangers. Additionally, we create the SafeBox synthetic dataset, which includes one hundred responsible robotic manipulation tasks with different safety risk scenarios and instructions, effectively reducing the risks associated with real-world experiments. Experiments demonstrate that Safety-as-policy can avoid risks and efficiently complete tasks in both synthetic dataset and real-world experiments, significantly outperforming baseline methods. Our SafeBox dataset shows consistent evaluation results with real-world scenarios, serving as a safe and effective benchmark for future research.
• Abstract（参考訳）: 人間の指示をロボット操作で実行することを考えると、毒や火災、爆発などの深刻な安全リスクにつながる可能性がある。 本稿では,ロボットが命令を完了し,複雑な操作を安全かつ効率的に実行しながら,現実の環境における潜在的な危険を考慮しなければならない,責任のあるロボット操作を提案する。 しかし、現実世界のこのようなシナリオは、トレーニングには可変で危険である。 この課題に対処するため,我々は「安全と政治」を提案する。 一 安全リスクを含むシナリオを自動生成し、仮想対話を行う世界モデル 二 ロボットが危険を回避しつつ課題を遂行できるように、反射による結果の推測を行い、安全の認知を徐々に発展させる精神モデル。 さらに、セーフボックス合成データセットを作成し、安全リスクシナリオと命令の異なる100のロボット操作タスクを含み、現実世界の実験に関連するリスクを効果的に低減します。 実験は、セーフティ・アズ・ポリティクスがリスクを回避し、合成データセットと実世界の実験の両方で効率的にタスクを完了できることを示し、ベースライン法を著しく上回っている。 私たちのSafeBoxデータセットは、現実のシナリオと一貫した評価結果を示し、将来の研究の安全かつ効果的なベンチマークとして役立ちます。

関連論文リスト

• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems [5.055705635181593]
  物理的世界と自律的に対話するAIロボットを含む、身体化されたAIシステムは、かなり進歩している。 不適切な安全管理は、複雑な環境で障害を引き起こし、悪意のあるコマンドインジェクションに対してシステムが脆弱になる。 我々は,移動ロボットを組込みAIシステムに統合するための安全フレームワークであるtextitSafeEmbodAIを提案する。
  論文  参考訳（メタデータ） (2024-09-03T05:56:50Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
  バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。 本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。 2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
  論文  参考訳（メタデータ） (2024-06-18T19:37:44Z)
• Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
  本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。 ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。 EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
  論文  参考訳（メタデータ） (2024-05-28T05:50:25Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Safe reinforcement learning of dynamic high-dimensional robotic tasks: navigation, manipulation, interaction [31.553783147007177]
  強化学習では、損傷を起こさない環境を探索する上で、安全はより基本的なものである。 本稿では,各種ロボット作業の強化学習のための安全探索の新たな定式化について紹介する。 我々のアプローチは、幅広い種類のロボットプラットフォームに適用され、データから学んだ複雑な衝突制約の下でも安全を強制する。
  論文  参考訳（メタデータ） (2022-09-27T11:23:49Z)
• SafeAPT: Safe Simulation-to-Real Robot Learning using Diverse Policies Learned in Simulation [12.778412161239466]
  シミュレーションで学んだポリシーは、必ずしも本物のロボットに安全な振る舞いをもたらすとは限らない。 本研究では,シミュレーションで進化したポリシーの多様なレパートリーを活用する,SafeAPTと呼ばれる新しい学習アルゴリズムを提案する。 SafeAPTは,対話中の安全違反を最小限に抑えつつ,実世界では数分以内に高性能なポリシーを見出すことを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:40:36Z)
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
  本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。 私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。 シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-09-12T02:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。