論文の概要: Neuromorphic Eye-in-Hand Visual Servoing

• arxiv url: http://arxiv.org/abs/2004.07398v1
• Date: Wed, 15 Apr 2020 23:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 04:25:42.226964
• Title: Neuromorphic Eye-in-Hand Visual Servoing
• Title（参考訳）: ニューロモルフィックアイ・イン・ハンド視覚サーボ
• Authors: Rajkumar Muthusamy, Abdulla Ayyad, Mohamad Halwani, Yahya Zweiri, Dongming Gan and Lakmal Seneviratne
• Abstract要約: イベントカメラは、低レイテンシと広いダイナミックレンジで人間のような視覚機能を提供する。 本稿では,イベントカメラとスイッチング制御戦略を用いて,探索,到達,把握を行う視覚サーボ手法を提案する。 実験は、異なる形状の物体を追跡して把握する手法の有効性を、再学習を必要とせずに証明する。
• 参考スコア（独自算出の注目度）: 0.9949801888214528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic vision plays a major role in factory automation to service robot applications. However, the traditional use of frame-based camera sets a limitation on continuous visual feedback due to their low sampling rate and redundant data in real-time image processing, especially in the case of high-speed tasks. Event cameras give human-like vision capabilities such as observing the dynamic changes asynchronously at a high temporal resolution ($1\mu s$) with low latency and wide dynamic range. In this paper, we present a visual servoing method using an event camera and a switching control strategy to explore, reach and grasp to achieve a manipulation task. We devise three surface layers of active events to directly process stream of events from relative motion. A purely event based approach is adopted to extract corner features, localize them robustly using heat maps and generate virtual features for tracking and alignment. Based on the visual feedback, the motion of the robot is controlled to make the temporal upcoming event features converge to the desired event in spatio-temporal space. The controller switches its strategy based on the sequence of operation to establish a stable grasp. The event based visual servoing (EVBS) method is validated experimentally using a commercial robot manipulator in an eye-in-hand configuration. Experiments prove the effectiveness of the EBVS method to track and grasp objects of different shapes without the need for re-tuning.
• Abstract（参考訳）: ロボットビジョンは、ロボットアプリケーションを提供する工場自動化において重要な役割を果たしている。 しかし、フレームベースカメラの従来の使用は、特に高速なタスクにおいて、サンプリングレートの低さとリアルタイム画像処理における冗長なデータのために、連続的な視覚フィードバックに制限を課している。 イベントカメラは、低レイテンシと広いダイナミックレンジの高時間分解能($1\mu s$)での動的変化を非同期に観察するなど、人間のような視覚能力を提供する。 本稿では,イベントカメラを用いた視覚サーボ手法と,操作タスクの探索,到達,把握のためのスイッチング制御戦略を提案する。 相対的な動きからイベントの流れを直接処理するために、アクティブなイベントの3つの表面層を考案する。 純粋にイベントベースのアプローチが採用され、コーナーの特徴を抽出し、ヒートマップを使用してロケライズし、追跡とアライメントのための仮想特徴を生成する。 視覚フィードバックに基づいて、ロボットの動作を制御して、時空間における所望のイベントに時近イベントの特徴を収束させる。 制御器は、操作順序に基づいて戦略を切り替え、安定した把握を確立する。 イベントベース視覚サーボ法 (EVBS) は, 商用ロボットマニピュレータを目視で操作することで実験的に検証する。 実験は、異なる形状の物体を再調整することなく追跡・把握するebvs法の有効性を実証する。

関連論文リスト

• E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
  イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。 本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。 本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
  論文  参考訳（メタデータ） (2024-10-11T09:19:23Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based Cameras [4.110120522045467]
  イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。 本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。 エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
  論文  参考訳（メタデータ） (2022-05-16T13:23:52Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• C^3Net: End-to-End deep learning for efficient real-time visual active camera control [4.09920839425892]
  スマートカメラ監視、スマート環境、ドローンなどのアプリケーションにおける自動化されたリアルタイムビジュアルシステムの必要性は、視覚的アクティブな監視と制御のための方法の改善を必要とする。 本稿では,視覚情報からカメラ運動へ直接移行する深層畳み込み型カメラ制御ニューラルネットワークを提案する。 カメラをコントロールし、生のピクセル値から複数のターゲットに従うために、ボックスアノテーションをバウンドすることなく、エンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-07-28T09:31:46Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)
• End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking [35.95703377642108]
  イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。 この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。 我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
  論文  参考訳（メタデータ） (2020-02-14T08:19:50Z)
• Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking [87.0297771292994]
  本稿では,イベントベースのトラッキング・バイ・ディテクト(ETD)手法を提案する。 この目的を達成するために,線形時間決定(ATSLTD)イベント・ツー・フレーム変換アルゴリズムを用いた適応時間曲面を提案する。 提案手法と,従来のカメラやイベントカメラをベースとした7種類のオブジェクト追跡手法と,ETDの2種類のバリエーションを比較した。
  論文  参考訳（メタデータ） (2020-02-13T15:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。