論文の概要: Unified Control Framework for Real-Time Interception and Obstacle Avoidance of Fast-Moving Objects with Diffusion Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2209.13628v2
- Date: Tue, 2 Apr 2024 23:27:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 23:57:15.405621
- Title: Unified Control Framework for Real-Time Interception and Obstacle Avoidance of Fast-Moving Objects with Diffusion Variational Autoencoder
- Title(参考訳): 拡散変分オートエンコーダを用いた高速移動物体のリアルタイム知覚と障害物回避のための統一制御フレームワーク
- Authors: Apan Dastider, Hao Fang, Mingjie Lin,
- Abstract要約: 動的環境におけるロボットアームによる高速移動物体のリアルタイムインターセプションは、非常に困難な課題である。
本稿では,動的オブジェクトを同時にインターセプトし,移動障害を回避することで,課題に対処する統一的な制御フレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.5642257132861923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time interception of fast-moving objects by robotic arms in dynamic environments poses a formidable challenge due to the need for rapid reaction times, often within milliseconds, amidst dynamic obstacles. This paper introduces a unified control framework to address the above challenge by simultaneously intercepting dynamic objects and avoiding moving obstacles. Central to our approach is using diffusion-based variational autoencoder for motion planning to perform both object interception and obstacle avoidance. We begin by encoding the high-dimensional temporal information from streaming events into a two-dimensional latent manifold, enabling the discrimination between safe and colliding trajectories, culminating in the construction of an offline densely connected trajectory graph. Subsequently, we employ an extended Kalman filter to achieve precise real-time tracking of the moving object. Leveraging a graph-traversing strategy on the established offline dense graph, we generate encoded robotic motor control commands. Finally, we decode these commands to enable real-time motion of robotic motors, ensuring effective obstacle avoidance and high interception accuracy of fast-moving objects. Experimental validation on both computer simulations and autonomous 7-DoF robotic arms demonstrates the efficacy of our proposed framework. Results indicate the capability of the robotic manipulator to navigate around multiple obstacles of varying sizes and shapes while successfully intercepting fast-moving objects thrown from different angles by hand. Complete video demonstrations of our experiments can be found in https://sites.google.com/view/multirobotskill/home.
- Abstract(参考訳): 動的環境におけるロボットアームによる高速移動物体のリアルタイムインターセプションは、しばしば動的障害物の中でミリ秒以内の迅速な反応時間を必要とするため、非常に困難な課題となる。
本稿では、動的オブジェクトを同時にインターセプトし、移動障害物を回避することにより、上記の課題に対処する統一的な制御フレームワークを提案する。
我々のアプローチの中心は、拡散に基づく変分オートエンコーダを用いて、物体のインターセプションと障害物回避の両方を実行する。
まず、ストリーミングイベントからの高次元時間情報を2次元潜在多様体に符号化し、安全トラジェクタと衝突トラジェクタの識別を可能にし、オフラインで密結合されたトラジェクタグラフを構築する。
その後、移動物体の正確なリアルタイム追跡を実現するために拡張カルマンフィルタを用いる。
確立されたオフライン高密度グラフ上でグラフトラバース戦略を活用することで、ロボットモーター制御コマンドを符号化する。
最後に、ロボットモータのリアルタイム動作を可能にするためにこれらのコマンドをデコードし、高速移動物体の効果的な障害物回避と高いインターセプション精度を確保する。
コンピュータシミュレーションと自律型7-DoFロボットアームを用いた実験により,提案手法の有効性が示された。
その結果、ロボットマニピュレータは、異なる角度から投げられた高速移動物体を手動でインターセプトしながら、さまざまな大きさと形状の複数の障害物を回避できることが示唆された。
私たちの実験の完全なビデオデモはhttps://sites.google.com/view/multirobotskill/home.comで見ることができる。
関連論文リスト
- Ego-Motion Aware Target Prediction Module for Robust Multi-Object Tracking [2.7898966850590625]
我々は、Ego-motion Aware Target Prediction (EMAP)と呼ばれる新しいKFベースの予測モジュールを導入する。
提案手法は、カルマンフィルタを再構成することにより、物体軌道からのカメラ回転速度と翻訳速度の影響を分離する。
EMAPはOC-SORTとDeep OC-SORTのIDSWをそれぞれ73%と21%減少させる。
論文 参考訳(メタデータ) (2024-04-03T23:24:25Z) - Guided Decoding for Robot Motion Generation and Adaption [8.299692647308321]
障害のある複雑な環境でのハイDoFロボットアームの動作生成,ポイント経由などについて検討する。
シミュレーショントラジェクトリの大規模なデータセット上にトランスフォーマーアーキテクチャをトレーニングする。
我々のモデルでは,初期点と目標点から運動を生成できるだけでなく,複雑なタスクをナビゲートする際に軌道に適応できる。
論文 参考訳(メタデータ) (2024-03-22T14:32:27Z) - Neural Implicit Swept Volume Models for Fast Collision Detection [0.0]
本稿では,深層学習に基づく符号付き距離計算の高速化と幾何衝突チェッカーの精度保証を併用したアルゴリズムを提案する。
シミュレーションおよび実世界のロボット実験において、我々のアプローチを検証するとともに、商用ビンピッキングアプリケーションを高速化できることを実証する。
論文 参考訳(メタデータ) (2024-02-23T12:06:48Z) - TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。
TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。
TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
論文 参考訳(メタデータ) (2023-12-01T15:24:38Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - MotionTrack: Learning Robust Short-term and Long-term Motions for
Multi-Object Tracking [56.92165669843006]
本研究では,短時間から長期間の軌跡を関連づける統合フレームワークで,堅牢な短期・長期動作を学習するMotionTrackを提案する。
密集した群集に対して,各ターゲットの複雑な動きを推定できる,短時間の軌跡から相互作用認識動作を学習するための新しい対話モジュールを設計する。
極端なオクルージョンのために、ターゲットの履歴軌跡から信頼できる長期動作を学習するための新しいRefind Moduleを構築し、中断された軌跡とそれに対応する検出とを関連付けることができる。
論文 参考訳(メタデータ) (2023-03-18T12:38:33Z) - A real-time dynamic obstacle tracking and mapping system for UAV
navigation and collision avoidance with an RGB-D camera [7.77809394151497]
RGB-Dカメラを用いたクワッドコプター障害物回避のためのリアルタイム動的障害物追跡とマッピングシステムを提案する。
本手法は,動的環境における障害物をリアルタイムに追跡・表現することができ,障害物を安全に回避することができる。
論文 参考訳(メタデータ) (2022-09-17T05:32:33Z) - PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based
Cameras [4.110120522045467]
イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。
本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。
エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
論文 参考訳(メタデータ) (2022-05-16T13:23:52Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳(メタデータ) (2022-03-14T17:55:41Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳(メタデータ) (2021-11-15T18:50:04Z) - SABER: Data-Driven Motion Planner for Autonomously Navigating
Heterogeneous Robots [112.2491765424719]
我々は、データ駆動型アプローチを用いて、異種ロボットチームをグローバルな目標に向けてナビゲートする、エンドツーエンドのオンラインモーションプランニングフレームワークを提案する。
モデル予測制御(SMPC)を用いて,ロボット力学を満たす制御入力を計算し,障害物回避時の不確実性を考慮した。
リカレントニューラルネットワークは、SMPC有限時間地平線解における将来の状態の不確かさを素早く推定するために用いられる。
ディープQ学習エージェントがハイレベルパスプランナーとして機能し、SMPCにロボットを望ましいグローバルな目標に向けて移動させる目標位置を提供する。
論文 参考訳(メタデータ) (2021-08-03T02:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。