論文の概要: A Temporal Densely Connected Recurrent Network for Event-based Human
Pose Estimation
- arxiv url: http://arxiv.org/abs/2209.07034v2
- Date: Wed, 5 Apr 2023 09:36:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 16:15:11.172724
- Title: A Temporal Densely Connected Recurrent Network for Event-based Human
Pose Estimation
- Title（参考訳）: 事象に基づくポーズ推定のための時間的密結合リカレントネットワーク
- Authors: Zhanpeng Shao, Wen Zhou, Wuzhen Wang, Jianyu Yang, Youfu Li
- Abstract要約: イベントカメラは、バイオインスパイアされた視覚センサーで、ピクセルごとの明るさが非同期に変化する。
本稿では,不完全情報の問題に対処する,新しい密結合型再帰型アーキテクチャを提案する。
この再帰的アーキテクチャにより、時間ステップをまたいだ逐次的だけでなく、非逐次的幾何的整合性も明示的にモデル化できる。
- 参考スコア（独自算出の注目度）: 24.367222637492787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event camera is an emerging bio-inspired vision sensors that report per-pixel
brightness changes asynchronously. It holds noticeable advantage of high
dynamic range, high speed response, and low power budget that enable it to best
capture local motions in uncontrolled environments. This motivates us to unlock
the potential of event cameras for human pose estimation, as the human pose
estimation with event cameras is rarely explored. Due to the novel paradigm
shift from conventional frame-based cameras, however, event signals in a time
interval contain very limited information, as event cameras can only capture
the moving body parts and ignores those static body parts, resulting in some
parts to be incomplete or even disappeared in the time interval. This paper
proposes a novel densely connected recurrent architecture to address the
problem of incomplete information. By this recurrent architecture, we can
explicitly model not only the sequential but also non-sequential geometric
consistency across time steps to accumulate information from previous frames to
recover the entire human bodies, achieving a stable and accurate human pose
estimation from event data. Moreover, to better evaluate our model, we collect
a large scale multimodal event-based dataset that comes with human pose
annotations, which is by far the most challenging one to the best of our
knowledge. The experimental results on two public datasets and our own dataset
demonstrate the effectiveness and strength of our approach. Code can be
available online for facilitating the future research.
- Abstract（参考訳）: イベントカメラは、バイオインスパイアされた視覚センサーで、ピクセルごとの明るさが非同期に変化する。
高いダイナミックレンジ、高速応答、低電力予算の顕著な利点があり、制御されていない環境での局所的な動きを最大限に捉えることができる。
これは、イベントカメラによる人間のポーズ推定がほとんど探求されないため、人間のポーズ推定にイベントカメラの可能性を解き放つ動機となっている。
しかし、従来のフレームベースカメラからの新たなパラダイムシフトにより、イベントカメラは移動体部分のみを捉えて静止体部分を無視し、不完全な部分や時間間隔で消滅する部分もあるため、時間間隔でのイベント信号は非常に限られた情報を含んでいる。
本稿では,不完全情報の問題に対処する,新しい密結合型再帰型アーキテクチャを提案する。
この再帰的アーキテクチャにより、時間ステップにまたがる逐次的かつ非逐次的な幾何的整合性を明示的にモデル化し、過去のフレームから情報を蓄積して人体全体を復元し、イベントデータから安定かつ正確な人間のポーズ推定を実現する。
さらに、モデルをよりよく評価するために、人間のポーズアノテーションが付属する大規模なマルチモーダルイベントベースのデータセットを収集します。
2つの公開データセットと独自のデータセットの実験結果は、我々のアプローチの有効性と強みを示しています。
コードは、将来の研究を促進するためにオンラインで入手できる。
関連論文リスト
- VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
ポースグラフ最適化手法を拡張する新しい手法を提案する。
我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。
我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
論文 参考訳（メタデータ） (2024-03-25T17:47:03Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2023-04-19T16:21:14Z) - Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。
イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。
提案手法はFLOPSの80%を大幅に削減する。
論文 参考訳（メタデータ） (2023-03-16T22:56:12Z) - Mutual Information-Based Temporal Difference Learning for Human Pose
Estimation in Video [16.32910684198013]
本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。
具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。
以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
論文 参考訳（メタデータ） (2023-03-15T09:29:03Z) - Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks [55.81577205593956]
イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。
深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
論文 参考訳（メタデータ） (2023-02-17T14:19:28Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T16:36:50Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳（メタデータ） (2020-12-16T04:06:02Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳（メタデータ） (2020-09-28T16:03:59Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳（メタデータ） (2020-09-17T13:30:05Z) - End-to-end Learning of Object Motion Estimation from Retinal Events for
Event-based Object Tracking [35.95703377642108]
イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。
この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。
我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
論文 参考訳（メタデータ） (2020-02-14T08:19:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。