論文の概要: ViewBirdiformer: Learning to recover ground-plane crowd trajectories and
ego-motion from a single ego-centric view
- arxiv url: http://arxiv.org/abs/2210.06332v1
- Date: Wed, 12 Oct 2022 15:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:07:13.807258
- Title: ViewBirdiformer: Learning to recover ground-plane crowd trajectories and
ego-motion from a single ego-centric view
- Title（参考訳）: ViewBirdiformer:1つの自我中心の視点から地上の群集軌道と自我運動を復元する学習
- Authors: Mai Nishimura, Shohei Nobuhara, Ko Nishino
- Abstract要約: 本研究では,観察された自我中心の映像から,群集の歩行者とその観察者の地上平面軌道を復元する新たな鳥化学習手法を提案する。
静的な背景が見えにくく、確実に追跡できない密集した群集において、ビューバード化は移動ロボットのナビゲーションや位置決めに欠かせないものとなっている。
本研究では,観衆の移動を自己注意で暗黙的にモデル化し,観衆とカメラの地上平面軌道に相対的な2次元運動観測を分解するViewBirdiformerと呼ばれるトランスフォーマーネットワークを提案する。
- 参考スコア（独自算出の注目度）: 28.54213112712818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel learning-based method for view birdification, the task
of recovering ground-plane trajectories of pedestrians of a crowd and their
observer in the same crowd just from the observed ego-centric video. View
birdification becomes essential for mobile robot navigation and localization in
dense crowds where the static background is hard to see and reliably track. It
is challenging mainly for two reasons; i) absolute trajectories of pedestrians
are entangled with the movement of the observer which needs to be decoupled
from their observed relative movements in the ego-centric video, and ii) a
crowd motion model describing the pedestrian movement interactions is specific
to the scene yet unknown a priori. For this, we introduce a Transformer-based
network referred to as ViewBirdiformer which implicitly models the crowd motion
through self-attention and decomposes relative 2D movement observations onto
the ground-plane trajectories of the crowd and the camera through
cross-attention between views. Most important, ViewBirdiformer achieves view
birdification in a single forward pass which opens the door to accurate
real-time, always-on situational awareness. Extensive experimental results
demonstrate that ViewBirdiformer achieves accuracy similar to or better than
state-of-the-art with three orders of magnitude reduction in execution time.
- Abstract（参考訳）: 本研究では,観察された自我中心の映像から,群集の歩行者とその観察者の地上平面軌道を復元する新たな鳥化学習手法を提案する。
view birdificationは、静的な背景を見るのが困難で確実に追跡できない密集した群衆において、移動ロボットのナビゲーションとローカライズに必須となる。
主に2つの理由から挑戦している。
一 歩行者の絶対軌跡は、自我中心のビデオにおける観察された相対的な動きから切り離さなければならない観察者の動きに絡み合っており、
二 歩行者運動の相互作用を記述した群集運動モデルは、予め不明な場面に特有である。
そこで本研究では,観衆の移動を暗黙的にモデル化するViewBirdiformerというトランスフォーマーネットワークを導入し,観衆の平面軌道上の相対的な2次元運動観測を,観衆間の交叉による観衆とカメラの軌道上に分解する。
最も重要なのは、ViewBirdiformerがワンフォワードパスでビューバード化を実現し、正確なリアルタイム、常に状況認識への扉を開くことである。
大規模な実験結果から,ViewBirdiformerは3桁の精度で実行時間を短縮できることがわかった。
関連論文リスト
- EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳（メタデータ） (2024-09-22T22:50:27Z) - EgoNav: Egocentric Scene-aware Human Trajectory Prediction [15.346096596482857]
ウェアラブルなコラボレーティブロボットは、転倒防止支援を必要とする人や、外骨格を装着する人を助ける。
このようなロボットは、自我中心の視覚に基づいて周囲のシーンに常に適応し、着用者の自我の動きを予測する必要がある。
本研究では、身体に装着したカメラとセンサーを利用して、複雑な環境下での人間の着用者の軌道を予測した。
論文 参考訳（メタデータ） (2024-03-27T21:43:12Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳（メタデータ） (2024-01-16T18:55:22Z) - Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。
提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
論文 参考訳（メタデータ） (2023-12-26T18:56:49Z) - InCrowdFormer: On-Ground Pedestrian World Model From Egocentric Views [28.54213112712818]
我々は,地上の歩行者が地上の観衆のまわりを移動する様子を予測できる,地上の歩行者世界モデルを紹介した。
InCrowdFormerは、歩行者のインタラクションをモデル化してTransformerアーキテクチャを完全に活用し、注目を集めてトップダウンのビュー変換に重点を置いている。
我々は、歩行者の位置の後方分布を予測するために、未知の歩行者の高さから生じる不確実性を潜時符号で符号化する。
論文 参考訳（メタデータ） (2023-03-16T17:51:02Z) - Dfferentiable Raycasting for Self-supervised Occupancy Forecasting [52.61762537741392]
自動運転のための運動計画では、エゴ車の周囲の環境が時間とともにどのように進化するかを学ぶ必要がある。
本稿では,自由空間のようなビュー依存表現の自然な代替手段として,幾何学的占有を用いる。
私たちの重要な洞察は、差別化可能なレイキャストを使用して、将来の占有率予測を、将来のLiDARスイープ予測に"レンダリング"することです。
論文 参考訳（メタデータ） (2022-10-04T21:35:21Z) - View Birdification in the Crowd: Ground-Plane Localization from
Perceived Movements [18.74084481018641]
本研究では,エゴ中心のビデオから観衆の地平面運動を復元する問題であるビューバード化を導入する。
この手法はまず観察者の動きを推定し、次に周囲の歩行者をフレームごとに位置決めする。
提案手法の有効性を評価するため,3つのデータセットを導入し,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2021-11-09T11:34:19Z) - Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual
Observations [75.60524561611008]
この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。
まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。
本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
論文 参考訳（メタデータ） (2021-09-28T20:25:10Z) - Understanding Bird's-Eye View Semantic HD-Maps Using an Onboard
Monocular Camera [110.83289076967895]
本研究では,ワンオンボードカメラからの映像入力を用いて,セマンティック・バードズ・アイ・ビューHDマップのオンライン推定形式でのシーン理解について検討した。
実験では,HDマップの理解において,考慮すべき側面が相補的であることを実証した。
論文 参考訳（メタデータ） (2020-12-05T14:39:14Z) - 4D Human Body Capture from Egocentric Video via 3D Scene Grounding [38.3169520384642]
本稿では,モノクラーエゴセントリックビデオから2人称3D人体メッシュの時系列を再構築する新しい課題を紹介する。
エゴセントリックなビデオのユニークな視点と迅速なカメラの動きは、人間の身体を捉えるための技術的な障壁を増す。
論文 参考訳（メタデータ） (2020-11-26T15:17:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。