論文の概要: Active Human Pose Estimation via an Autonomous UAV Agent
- arxiv url: http://arxiv.org/abs/2407.01811v1
- Date: Mon, 1 Jul 2024 21:20:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 17:23:15.289296
- Title: Active Human Pose Estimation via an Autonomous UAV Agent
- Title(参考訳): 自律型UAVエージェントによるアクティブ・ヒューマン・ポース推定
- Authors: Jingxi Chen, Botao He, Chahat Deep Singh, Cornelia Fermuller, Yiannis Aloimonos,
- Abstract要約: 本稿では,人の行動を捉えた映像から人間のポーズ推定を行うタスクに焦点を当てる。
これを解決するためには、ビューを明確にするために、カメラを新しいベタージュポイントに移す必要がある。
提案手法は、NeRFベースのDrone-Viewデータ生成フレームワーク、カメラビューエラー推定のためのOn-Drone Network、複合プランナーの3つの主要コンポーネントから構成される。
- 参考スコア(独自算出の注目度): 13.188563931419056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the core activities of an active observer involves moving to secure a "better" view of the scene, where the definition of "better" is task-dependent. This paper focuses on the task of human pose estimation from videos capturing a person's activity. Self-occlusions within the scene can complicate or even prevent accurate human pose estimation. To address this, relocating the camera to a new vantage point is necessary to clarify the view, thereby improving 2D human pose estimation. This paper formalizes the process of achieving an improved viewpoint. Our proposed solution to this challenge comprises three main components: a NeRF-based Drone-View Data Generation Framework, an On-Drone Network for Camera View Error Estimation, and a Combined Planner for devising a feasible motion plan to reposition the camera based on the predicted errors for camera views. The Data Generation Framework utilizes NeRF-based methods to generate a comprehensive dataset of human poses and activities, enhancing the drone's adaptability in various scenarios. The Camera View Error Estimation Network is designed to evaluate the current human pose and identify the most promising next viewing angles for the drone, ensuring a reliable and precise pose estimation from those angles. Finally, the combined planner incorporates these angles while considering the drone's physical and environmental limitations, employing efficient algorithms to navigate safe and effective flight paths. This system represents a significant advancement in active 2D human pose estimation for an autonomous UAV agent, offering substantial potential for applications in aerial cinematography by improving the performance of autonomous human pose estimation and maintaining the operational safety and efficiency of UAVs.
- Abstract(参考訳): アクティブなオブザーバのコアアクティビティのひとつは、"better"の定義がタスク依存であるシーンの"better"ビューを確保することだ。
本稿では,人の行動を捉えた映像から人間のポーズ推定を行うタスクに焦点を当てる。
シーン内の自己閉塞は、正確な人間のポーズ推定を複雑にしたり、防いだりすることができる。
これを解決するためには、ビューを明確にするために、カメラを新しいベタージュポイントに移動させることが必要であり、2次元の人間のポーズ推定を改善する。
本稿では、改善された視点を達成する過程を定式化する。
提案手法は,NeRFをベースとしたDrone-Viewデータ生成フレームワーク,カメラビューエラー推定のためのOn-Drone Network,カメラビューの予測誤差に基づいてカメラを再配置する実行可能なモーションプランを設計するためのCombined Plannerの3つの主要コンポーネントから構成される。
データ生成フレームワークは、NeRFベースの手法を使用して、人間のポーズとアクティビティの包括的なデータセットを生成し、さまざまなシナリオにおけるドローンの適応性を高める。
Camera View Error Estimation Network(カメラビューエラー推定ネットワーク)は、現在の人間のポーズを評価し、ドローンにとって最も有望な次の視野角を特定するように設計されている。
最後に、統合プランナーは、ドローンの物理的および環境的制約を考慮して、これらの角度を取り入れ、安全で効果的な飛行経路をナビゲートする効率的なアルゴリズムを使用する。
このシステムは、自律型UAVエージェントのアクティブな2次元ポーズ推定において、自律型UAVの安全性と効率を向上し、自律型人間のポーズ推定の性能を向上させることにより、航空撮影における大きな可能性を提供する。
関連論文リスト
- Exploiting Motion Prior for Accurate Pose Estimation of Dashboard Cameras [17.010390107028275]
本研究では,ダッシュカム画像の正確なポーズ推定手法を提案する。
提案手法は,AUC5textdegreeにおけるポーズ推定基準よりも22%優れており,再投影誤差の少ない19%以上の画像に対してポーズ推定を行うことができる。
論文 参考訳(メタデータ) (2024-09-27T11:59:00Z) - Multi-view Pose Fusion for Occlusion-Aware 3D Human Pose Estimation [3.442372522693843]
本稿では,人間とロボットのコラボレーションの文脈におけるロバストな3次元ポーズ推定手法を提案する。
提案手法は,最先端の多視点人間のポーズ推定手法より優れている。
論文 参考訳(メタデータ) (2024-08-28T14:10:57Z) - VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
ポースグラフ最適化手法を拡張する新しい手法を提案する。
我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。
我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
論文 参考訳(メタデータ) (2024-03-25T17:47:03Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳(メタデータ) (2023-12-13T09:24:42Z) - Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based
Motion Refinement [65.08165593201437]
本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。
この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。
そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T07:13:47Z) - 3D Pose Nowcasting: Forecast the Future to Improve the Present [65.65178700528747]
本研究では,骨格関節の3次元位置を正確に把握するために,深度データを利用した新しい視覚ベースシステムを提案する。
本稿では,現在のポーズ推定精度を高めるため,提案システムの有効性を示すPose Nowcastingの概念を紹介する。
実験的な評価は2つの異なるデータセットで行われ、正確かつリアルタイムなパフォーマンスを提供する。
論文 参考訳(メタデータ) (2023-08-24T16:40:47Z) - AZTR: Aerial Video Action Recognition with Auto Zoom and Temporal
Reasoning [63.628195002143734]
本稿では,空中映像の行動認識のための新しい手法を提案する。
提案手法は,UAVを用いて撮影したビデオに対して設計されており,エッジやモバイルデバイス上でも動作可能である。
我々は、カスタマイズされたオートズームを使用して、人間のターゲットを自動的に識別し、適切にスケールする学習ベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-02T21:24:19Z) - Uncertainty Aware Multitask Pyramid Vision Transformer For UAV-Based
Object Re-Identification [38.19907319079833]
UAVベースのオブジェクトReIDのバックボーンとして、畳み込みのない新しいマルチスケールアーキテクチャであるPraamid Vision Transformer(PVT)を用いるマルチタスク学習手法を提案する。
クラス内変動の不確実性モデリングにより、不確実性認識オブジェクトIDとカメラID情報の両方を用いて、提案手法を協調的に最適化することができる。
論文 参考訳(メタデータ) (2022-09-19T00:27:07Z) - A Review on Viewpoints and Path-planning for UAV-based 3D Reconstruction [3.0479044961661708]
UAVが捉えたデータによる3D再構築も、研究や産業で注目を集めている。
本稿では,大規模物体の3次元再構成のための視点と経路計画のためのモデルフリーおよびモデルベースアルゴリズムについて検討する。
論文 参考訳(メタデータ) (2022-05-07T20:29:39Z) - CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the
Wild [31.334715988245748]
ラベルのないマルチビューデータから1つの画像3Dポーズ推定器を学習する自己教師型アプローチを提案する。
既存のほとんどの方法とは対照的に、校正カメラは必要とせず、移動カメラから学ぶことができる。
成功の鍵は、ビューとトレーニングサンプルの情報を混ぜ合わせた、新しく偏見のない再建目標である。
論文 参考訳(メタデータ) (2020-11-30T10:42:27Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳(メタデータ) (2020-06-24T23:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。