論文の概要: Event Camera-based Visual Odometry for Dynamic Motion Tracking of a
Legged Robot Using Adaptive Time Surface
- arxiv url: http://arxiv.org/abs/2305.08962v1
- Date: Mon, 15 May 2023 19:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 17:21:26.926204
- Title: Event Camera-based Visual Odometry for Dynamic Motion Tracking of a
Legged Robot Using Adaptive Time Surface
- Title(参考訳): 適応時間面を用いた足ロボットの動的運動追跡のためのイベントカメラによる視覚計測
- Authors: Shifan Zhu, Zhipeng Tang, Michael Yang, Erik Learned-Miller, Donghyun
Kim
- Abstract要約: イベントカメラは高時間分解能とダイナミックレンジを提供しており、高速移動時のぼやけたRGB画像の問題を排除できる。
本稿では,従来の時間面におけるホワイトアウト問題とブラックアウト問題に対処する適応時間面(ATS)手法を提案する。
最後に,RGBとイベントベースの地図と画像の両方で3D-2Dアライメントを同時に行う非線形ポーズ最適化式を提案する。
- 参考スコア(独自算出の注目度): 5.341864681049579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our paper proposes a direct sparse visual odometry method that combines event
and RGB-D data to estimate the pose of agile-legged robots during dynamic
locomotion and acrobatic behaviors. Event cameras offer high temporal
resolution and dynamic range, which can eliminate the issue of blurred RGB
images during fast movements. This unique strength holds a potential for
accurate pose estimation of agile-legged robots, which has been a challenging
problem to tackle. Our framework leverages the benefits of both RGB-D and event
cameras to achieve robust and accurate pose estimation, even during dynamic
maneuvers such as jumping and landing a quadruped robot, the Mini-Cheetah. Our
major contributions are threefold: Firstly, we introduce an adaptive time
surface (ATS) method that addresses the whiteout and blackout issue in
conventional time surfaces by formulating pixel-wise decay rates based on scene
complexity and motion speed. Secondly, we develop an effective pixel selection
method that directly samples from event data and applies sample filtering
through ATS, enabling us to pick pixels on distinct features. Lastly, we
propose a nonlinear pose optimization formula that simultaneously performs
3D-2D alignment on both RGB-based and event-based maps and images, allowing the
algorithm to fully exploit the benefits of both data streams. We extensively
evaluate the performance of our framework on both public datasets and our own
quadruped robot dataset, demonstrating its effectiveness in accurately
estimating the pose of agile robots during dynamic movements.
- Abstract(参考訳): 本稿では,イベントとRGB-Dデータを組み合わせて,ダイナミックな移動動作やアクロバティックな動作におけるアジャイルレッグロボットの姿勢を推定する,直接スパース視覚計測法を提案する。
イベントカメラは高時間分解能とダイナミックレンジを提供しており、高速移動時のぼやけたRGB画像の問題を排除できる。
このユニークな強みは、アジャイル足ロボットの正確なポーズ推定の可能性を秘めている。
我々のフレームワークは、RGB-Dとイベントカメラの両方の利点を利用して、四足歩行ロボットMini-Cheetahのジャンプや着陸のような動的操作であっても、堅牢で正確なポーズ推定を実現する。
まず、シーンの複雑さと動き速度に基づいて画素ワイドの減衰率を定式化することにより、従来の時間表面におけるホワイトアウトとブラックアウトの問題に対処する適応時間表面法(ATS)を導入する。
次に,イベントデータから直接サンプリングし,atsを通じてサンプルフィルタリングを行い,異なる特徴の画素を選択できる効果的な画素選択法を開発した。
最後に,rgbベースとイベントベースの両方の地図と画像に対して,同時に3d-2dアライメントを行う非線形ポーズ最適化式を提案する。
公共データセットと独自の四足ロボットデータセットの両方でフレームワークの性能を広範囲に評価し、動的動作中のアジャイルロボットの姿勢を正確に推定する効果を実証した。
関連論文リスト
- EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳(メタデータ) (2023-08-25T23:51:07Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳(メタデータ) (2023-04-14T05:30:02Z) - PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based
Cameras [4.110120522045467]
イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。
本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。
エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
論文 参考訳(メタデータ) (2022-05-16T13:23:52Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳(メタデータ) (2022-03-02T11:28:47Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-29T11:25:14Z) - Visual Odometry with an Event Camera Using Continuous Ray Warping and
Volumetric Contrast Maximization [31.627936023222052]
イベントカメラによるトラッキングとマッピングのための新しいソリューションを提案する。
カメラの動きは回転と変換の両方を含み、変位は任意に構造化された環境で起こる。
コントラストを3Dで実現することで,この問題に対する新たな解決法を提案する。
車両搭載イベントカメラによるAGV運動推定と3次元再構成への応用により,本手法の実用的妥当性が裏付けられる。
論文 参考訳(メタデータ) (2021-07-07T04:32:57Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳(メタデータ) (2021-06-22T12:53:56Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳(メタデータ) (2020-07-30T15:53:28Z) - Neuromorphic Eye-in-Hand Visual Servoing [0.9949801888214528]
イベントカメラは、低レイテンシと広いダイナミックレンジで人間のような視覚機能を提供する。
本稿では,イベントカメラとスイッチング制御戦略を用いて,探索,到達,把握を行う視覚サーボ手法を提案する。
実験は、異なる形状の物体を追跡して把握する手法の有効性を、再学習を必要とせずに証明する。
論文 参考訳(メタデータ) (2020-04-15T23:57:54Z) - Exploiting Event Cameras for Spatio-Temporal Prediction of Fast-Changing
Trajectories [7.13400854198045]
本稿では,ロボットと移動目標との相互作用を改善するため,ロボットの軌道予測について検討する。
本稿では,Long-Short Term Memory (LSTM)アーキテクチャに基づく機械学習の現状について述べる。
論文 参考訳(メタデータ) (2020-01-05T14:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。