論文の概要: Ensuring Force Safety in Vision-Guided Robotic Manipulation via Implicit Tactile Calibration

• arxiv url: http://arxiv.org/abs/2412.10349v1
• Date: Fri, 13 Dec 2024 18:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:01:51.628772
• Title: Ensuring Force Safety in Vision-Guided Robotic Manipulation via Implicit Tactile Calibration
• Title（参考訳）: 視覚誘導型ロボットマニピュレーションにおける意図しない触覚キャリブレーションによる力の安全確保
• Authors: Lai Wei, Jiahua Ma, Yibo Hu, Ruimao Zhang,
• Abstract要約: 本稿ではSafeDiffと呼ばれる新しい状態拡散フレームワークを紹介する。 これにより、現在のロボットの状態と視覚的コンテキスト観察から予測状態列を生成する。 リアルタイムの触覚フィードバックを組み込んでシーケンスを洗練させる。 実験では, 視覚触覚モデルにより, ドア開口部の有害な力の危険性が著しく軽減された。
• 参考スコア（独自算出の注目度）: 18.183151257773886
• License:
• Abstract: In dynamic environments, robots often encounter constrained movement trajectories when manipulating objects with specific properties, such as doors. Therefore, applying the appropriate force is crucial to prevent damage to both the robots and the objects. However, current vision-guided robot state generation methods often falter in this regard, as they lack the integration of tactile perception. To tackle this issue, this paper introduces a novel state diffusion framework termed SafeDiff. It generates a prospective state sequence from the current robot state and visual context observation while incorporating real-time tactile feedback to refine the sequence. As far as we know, this is the first study specifically focused on ensuring force safety in robotic manipulation. It significantly enhances the rationality of state planning, and the safe action trajectory is derived from inverse dynamics based on this refined planning. In practice, unlike previous approaches that concatenate visual and tactile data to generate future robot state sequences, our method employs tactile data as a calibration signal to adjust the robot's state within the state space implicitly. Additionally, we've developed a large-scale simulation dataset called SafeDoorManip50k, offering extensive multimodal data to train and evaluate the proposed method. Extensive experiments show that our visual-tactile model substantially mitigates the risk of harmful forces in the door opening, across both simulated and real-world settings.
• Abstract（参考訳）: 動的環境において、ロボットはドアのような特定の特性を持つ物体を操作する際に、しばしば制約された運動軌跡に遭遇する。 したがって、ロボットと物体の両方の損傷を防止するためには、適切な力を適用することが不可欠である。 しかしながら、現在の視覚誘導型ロボット状態生成法は、触覚認識の統合が欠如しているため、この点においてしばしば失敗する。 本稿では,SafeDiffと呼ばれる新しい状態拡散フレームワークを提案する。 リアルタイム触覚フィードバックを取り入れて、現在のロボットの状態と視覚的コンテキストの観察から予測状態シーケンスを生成し、そのシーケンスを洗練させる。 今回の研究は、ロボット操作における力の安全性を確保することに焦点を当てた初めての研究です。 状態計画の合理性を大幅に向上させ、安全な行動軌跡は、この洗練された計画に基づいて逆ダイナミクスから導かれる。 実際、将来のロボットの状態列を生成するために視覚的および触覚データを結合する従来の手法とは異なり、本手法では、触覚データを校正信号として使用し、状態空間内のロボットの状態を暗黙的に調整する。 さらに、SafeDoorManip50kと呼ばれる大規模なシミュレーションデータセットを開発し、提案手法のトレーニングと評価に広範囲なマルチモーダルデータを提供しました。 広汎な実験により、我々の視覚触覚モデルは、シミュレーションと実世界の両方で、ドアの開口部における有害な力のリスクを大幅に軽減することが示された。

関連論文リスト

• RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
  本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。 提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。 我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
  論文  参考訳（メタデータ） (2024-07-01T16:08:37Z)
• Multimodal Anomaly Detection based on Deep Auto-Encoder for Object Slip Perception of Mobile Manipulation Robots [22.63980025871784]
  提案フレームワークは,RGBや深度カメラ,マイク,力トルクセンサなど,さまざまなロボットセンサから収集した異種データストリームを統合する。 統合されたデータは、ディープオートエンコーダを訓練して、通常の状態を示す多感覚データの潜在表現を構築するために使用される。 次に、トレーニングされたエンコーダの潜伏値と再構成された入力データの潜伏値との差によって測定された誤差スコアによって異常を識別することができる。
  論文  参考訳（メタデータ） (2024-03-06T09:15:53Z)
• Towards Transferring Tactile-based Continuous Force Control Policies from Simulation to Robot [19.789369416528604]
  グリップフォースコントロールは、物体に作用する力の量を制限することによって、物体を安全に操作することを目的としている。 以前の作品では、手動制御器、モデルベースのアプローチ、あるいはsim-to-realトランスファーを示さなかった。 シミュレーションで訓練されたモデルなしの深層強化学習手法を提案し,さらに微調整を行わずにロボットに移行した。
  論文  参考訳（メタデータ） (2023-11-13T11:29:06Z)
• Learning Vision-based Pursuit-Evasion Robot Policies [54.52536214251999]
  我々は、部分的に観察可能なロボットの監督を生成する完全観測可能なロボットポリシーを開発する。 我々は、RGB-Dカメラを搭載した4足歩行ロボットに、野生での追従回避のインタラクションにポリシーを展開させる。
  論文  参考訳（メタデータ） (2023-08-30T17:59:05Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• DiAReL: Reinforcement Learning with Disturbance Awareness for Robust Sim2Real Policy Transfer in Robot Control [0.0]
  遅延マルコフ決定プロセスは、最近コミットされたアクションの有限時間ウィンドウでエージェントの状態空間を拡大することでマルコフ特性を満たす。 本稿では,遅延した環境下での乱れ増進型マルコフ決定プロセスを導入し,政治強化学習アルゴリズムのトレーニングにおける乱れ推定を取り入れた新しい表現法を提案する。
  論文  参考訳（メタデータ） (2023-06-15T10:11:38Z)
• Deep Functional Predictive Control for Strawberry Cluster Manipulation using Tactile Prediction [6.365634303789478]
  本稿では,ロボットプッシュタスクにおけるPRI(Physical Robot Interaction)の問題に対処するための新しいアプローチを提案する。 このアプローチでは、触覚予測に基づくデータ駆動のフォワードモデルを使用して、プッシュされるオブジェクトの将来的な動きについてコントローラに通知する。
  論文  参考訳（メタデータ） (2023-03-09T16:31:35Z)
• VAE-Loco: Versatile Quadruped Locomotion by Learning a Disentangled Gait Representation [78.92147339883137]
  本研究では,特定の歩行を構成する主要姿勢位相を捕捉する潜在空間を学習することにより,制御器のロバスト性を高めることが重要であることを示す。 本研究では,ドライブ信号マップの特定の特性が,歩幅,歩幅,立位などの歩行パラメータに直接関係していることを示す。 生成モデルを使用することで、障害の検出と緩和が容易になり、汎用的で堅牢な計画フレームワークを提供する。
  論文  参考訳（メタデータ） (2022-05-02T19:49:53Z)
• Next Steps: Learning a Disentangled Gait Representation for Versatile Quadruped Locomotion [69.87112582900363]
  現在のプランナーは、ロボットが動いている間、キー歩行パラメータを連続的に変更することはできない。 本研究では、特定の歩行を構成する重要な姿勢位相を捉える潜在空間を学習することにより、この制限に対処する。 本研究では, 歩幅, 歩幅, 立位など, 歩行パラメータに直接対応した駆動信号マップの具体的特性を示す。
  論文  参考訳（メタデータ） (2021-12-09T10:02:02Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• SABER: Data-Driven Motion Planner for Autonomously Navigating Heterogeneous Robots [112.2491765424719]
  我々は、データ駆動型アプローチを用いて、異種ロボットチームをグローバルな目標に向けてナビゲートする、エンドツーエンドのオンラインモーションプランニングフレームワークを提案する。 モデル予測制御(SMPC)を用いて,ロボット力学を満たす制御入力を計算し,障害物回避時の不確実性を考慮した。 リカレントニューラルネットワークは、SMPC有限時間地平線解における将来の状態の不確かさを素早く推定するために用いられる。 ディープQ学習エージェントがハイレベルパスプランナーとして機能し、SMPCにロボットを望ましいグローバルな目標に向けて移動させる目標位置を提供する。
  論文  参考訳（メタデータ） (2021-08-03T02:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。