論文の概要: Event Camera-based Visual Odometry for Dynamic Motion Tracking of a Legged Robot Using Adaptive Time Surface

• arxiv url: http://arxiv.org/abs/2305.08962v1
• Date: Mon, 15 May 2023 19:03:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 17:21:26.926204
• Title: Event Camera-based Visual Odometry for Dynamic Motion Tracking of a Legged Robot Using Adaptive Time Surface
• Title（参考訳）: 適応時間面を用いた足ロボットの動的運動追跡のためのイベントカメラによる視覚計測
• Authors: Shifan Zhu, Zhipeng Tang, Michael Yang, Erik Learned-Miller, Donghyun Kim
• Abstract要約: イベントカメラは高時間分解能とダイナミックレンジを提供しており、高速移動時のぼやけたRGB画像の問題を排除できる。 本稿では,従来の時間面におけるホワイトアウト問題とブラックアウト問題に対処する適応時間面(ATS)手法を提案する。 最後に,RGBとイベントベースの地図と画像の両方で3D-2Dアライメントを同時に行う非線形ポーズ最適化式を提案する。
• 参考スコア（独自算出の注目度）: 5.341864681049579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our paper proposes a direct sparse visual odometry method that combines event and RGB-D data to estimate the pose of agile-legged robots during dynamic locomotion and acrobatic behaviors. Event cameras offer high temporal resolution and dynamic range, which can eliminate the issue of blurred RGB images during fast movements. This unique strength holds a potential for accurate pose estimation of agile-legged robots, which has been a challenging problem to tackle. Our framework leverages the benefits of both RGB-D and event cameras to achieve robust and accurate pose estimation, even during dynamic maneuvers such as jumping and landing a quadruped robot, the Mini-Cheetah. Our major contributions are threefold: Firstly, we introduce an adaptive time surface (ATS) method that addresses the whiteout and blackout issue in conventional time surfaces by formulating pixel-wise decay rates based on scene complexity and motion speed. Secondly, we develop an effective pixel selection method that directly samples from event data and applies sample filtering through ATS, enabling us to pick pixels on distinct features. Lastly, we propose a nonlinear pose optimization formula that simultaneously performs 3D-2D alignment on both RGB-based and event-based maps and images, allowing the algorithm to fully exploit the benefits of both data streams. We extensively evaluate the performance of our framework on both public datasets and our own quadruped robot dataset, demonstrating its effectiveness in accurately estimating the pose of agile robots during dynamic movements.
• Abstract（参考訳）: 本稿では,イベントとRGB-Dデータを組み合わせて,ダイナミックな移動動作やアクロバティックな動作におけるアジャイルレッグロボットの姿勢を推定する,直接スパース視覚計測法を提案する。 イベントカメラは高時間分解能とダイナミックレンジを提供しており、高速移動時のぼやけたRGB画像の問題を排除できる。 このユニークな強みは、アジャイル足ロボットの正確なポーズ推定の可能性を秘めている。 我々のフレームワークは、RGB-Dとイベントカメラの両方の利点を利用して、四足歩行ロボットMini-Cheetahのジャンプや着陸のような動的操作であっても、堅牢で正確なポーズ推定を実現する。 まず、シーンの複雑さと動き速度に基づいて画素ワイドの減衰率を定式化することにより、従来の時間表面におけるホワイトアウトとブラックアウトの問題に対処する適応時間表面法(ATS)を導入する。 次に,イベントデータから直接サンプリングし,atsを通じてサンプルフィルタリングを行い,異なる特徴の画素を選択できる効果的な画素選択法を開発した。 最後に,rgbベースとイベントベースの両方の地図と画像に対して,同時に3d-2dアライメントを行う非線形ポーズ最適化式を提案する。 公共データセットと独自の四足ロボットデータセットの両方でフレームワークの性能を広範囲に評価し、動的動作中のアジャイルロボットの姿勢を正確に推定する効果を実証した。

関連論文リスト

• Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
  カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。 カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。 IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
  論文  参考訳（メタデータ） (2024-09-11T08:36:49Z)
• Line-based 6-DoF Object Pose Estimation and Tracking With an Event Camera [19.204896246140155]
  イベントカメラは、高いダイナミックレンジ、低レイテンシ、動きのぼけに対するレジリエンスといった顕著な特性を持っている。 イベントカメラを用いた平面オブジェクトや非平面オブジェクトに対するラインベースロバストポーズ推定と追跡手法を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:36:43Z)
• Camera Motion Estimation from RGB-D-Inertial Scene Flow [9.192660643226372]
  シーンフローを通してRGB-D画像と慣性データを統合するカメラモーション推定の新しい定式化を提案する。 我々の目標は、慣性測定ユニット(IMU)の状態とともに、剛性3次元環境におけるカメラの動きを正確に推定することである。
  論文  参考訳（メタデータ） (2024-04-26T08:42:59Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based Cameras [4.110120522045467]
  イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。 本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。 エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
  論文  参考訳（メタデータ） (2022-05-16T13:23:52Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Event-based Stereo Visual Odometry [42.77238738150496]
  ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。 我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
  論文  参考訳（メタデータ） (2020-07-30T15:53:28Z)
• Exploiting Event Cameras for Spatio-Temporal Prediction of Fast-Changing Trajectories [7.13400854198045]
  本稿では,ロボットと移動目標との相互作用を改善するため,ロボットの軌道予測について検討する。 本稿では,Long-Short Term Memory (LSTM)アーキテクチャに基づく機械学習の現状について述べる。
  論文  参考訳（メタデータ） (2020-01-05T14:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。