論文の概要: Fast Trajectory End-Point Prediction with Event Cameras for Reactive Robot Control

• arxiv url: http://arxiv.org/abs/2302.13796v1
• Date: Mon, 27 Feb 2023 14:14:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 15:29:32.271229
• Title: Fast Trajectory End-Point Prediction with Event Cameras for Reactive Robot Control
• Title（参考訳）: 反応ロボット制御のためのイベントカメラを用いた高速軌道終点予測
• Authors: Marco Monforte, Luna Gava, Massimiliano Iacono, Arren Glover, Chiara Bartolozzi
• Abstract要約: 本稿では,これらの問題を克服するために,イベントカメラの低レイテンシ,動作駆動サンプリング,データ圧縮特性を活用することを提案する。 ユースケースとして、私たちはパンダのロボットアームを使って、テーブルの上で跳ねるボールをインターセプトします。 シミュレーションでネットワークをトレーニングし、データセットの取得を高速化し、実際の軌道上でモデルを微調整します。
• 参考スコア（独自算出の注目度）: 4.110120522045467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prediction skills can be crucial for the success of tasks where robots have limited time to act or joints actuation power. In such a scenario, a vision system with a fixed, possibly too low, sampling rate could lead to the loss of informative points, slowing down prediction convergence and reducing the accuracy. In this paper, we propose to exploit the low latency, motion-driven sampling, and data compression properties of event cameras to overcome these issues. As a use-case, we use a Panda robotic arm to intercept a ball bouncing on a table. To predict the interception point, we adopt a Stateful LSTM network, a specific LSTM variant without fixed input length, which perfectly suits the event-driven paradigm and the problem at hand, where the length of the trajectory is not defined. We train the network in simulation to speed up the dataset acquisition and then fine-tune the models on real trajectories. Experimental results demonstrate how using a dense spatial sampling (i.e. event cameras) significantly increases the number of intercepted trajectories as compared to a fixed temporal sampling (i.e. frame-based cameras).
• Abstract（参考訳）: ロボットの動作時間や関節動作能力に制限があるタスクの成功には,予測スキルが不可欠である。 このようなシナリオでは、固定された、おそらく低いサンプリングレートの視覚システムは、情報的ポイントの損失を招き、予測収束を遅くし、精度を低下させる可能性がある。 本稿では,イベントカメラの低レイテンシ,動作駆動サンプリング,データ圧縮特性を活用し,これらの問題を克服する。 使用例として、私たちはパンダロボットアームを使用して、テーブル上のボールバウンシングをインターセプトします。 インターセプションポイントを予測するために、固定入力長のない特定のLSTM変種であるStateful LSTMネットワークを採用し、イベント駆動のパラダイムと、軌跡の長さが定義されていない問題に完全に適合する。 シミュレーションでネットワークを訓練し、データセットの取得をスピードアップし、実際の軌道上でモデルを微調整します。 実験の結果, 密集した空間サンプリング(すなわちイベントカメラ)は, 一定の時間的サンプリング(つまりフレームベースのカメラ)と比較して, インターセプトされた軌道数を大幅に増加させることが示された。

関連論文リスト

• Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
  軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。 現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。 本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
  論文  参考訳（メタデータ） (2023-10-09T20:32:49Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks [107.62975594230687]
  イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。 イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。 計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-14T15:23:28Z)
• PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based Cameras [4.110120522045467]
  イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。 本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。 エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
  論文  参考訳（メタデータ） (2022-05-16T13:23:52Z)
• Cross-Camera Trajectories Help Person Retrieval in a Camera Network [124.65912458467643]
  既存の手法では、純粋な視覚的マッチングや時間的制約を考慮することが多いが、カメラネットワークの空間情報は無視する。 本稿では,時間的情報と空間的情報を統合したクロスカメラ生成に基づく歩行者検索フレームワークを提案する。 本手法の有効性を検証するため,最初のカメラ横断歩行者軌跡データセットを構築した。
  論文  参考訳（メタデータ） (2022-04-27T13:10:48Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• Fast Motion Understanding with Spatiotemporal Neural Networks and Dynamic Vision Sensors [99.94079901071163]
  本稿では,高速な動きを推論するための動的視覚センサ(DVS)システムを提案する。 ロボットが15m/s以上の速度で接近する小さな物体に反応するケースを考察する。 我々は,23.4m/sで24.73degの誤差を$theta$,18.4mmの平均離散半径予測誤差,衝突予測誤差に対する25.03%の中央値で移動した玩具ダートについて,本システムの結果を強調した。
  論文  参考訳（メタデータ） (2020-11-18T17:55:07Z)
• Event-based Robotic Grasping Detection with Neuromorphic Vision Sensor and Event-Stream Dataset [8.030163836902299]
  ニューロモルフィック・ビジョンは、小さくて若い研究コミュニティである。従来のフレームベースのコンピュータビジョンと比較すると、ニューロモルフィック・ビジョンは小さくて若い研究コミュニティである。 91個のオブジェクトからなるイベントストリームデータセットという,ロボットによる把握データセットを構築した。 リードが高周波でブリンクするため、Event-Streamデータセットは1kHzの高周波でアノテートされる。 我々は、角度学習問題を回帰ではなく分類として考慮した、検出を把握するためのディープニューラルネットワークを開発した。
  論文  参考訳（メタデータ） (2020-04-28T16:55:19Z)
• End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking [35.95703377642108]
  イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。 この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。 我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
  論文  参考訳（メタデータ） (2020-02-14T08:19:50Z)
• Exploiting Event Cameras for Spatio-Temporal Prediction of Fast-Changing Trajectories [7.13400854198045]
  本稿では,ロボットと移動目標との相互作用を改善するため,ロボットの軌道予測について検討する。 本稿では,Long-Short Term Memory (LSTM)アーキテクチャに基づく機械学習の現状について述べる。
  論文  参考訳（メタデータ） (2020-01-05T14:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。