論文の概要: Temporally-consistent 3D Reconstruction of Birds
- arxiv url: http://arxiv.org/abs/2408.13629v1
- Date: Sat, 24 Aug 2024 17:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 18:39:37.586141
- Title: Temporally-consistent 3D Reconstruction of Birds
- Title（参考訳）: 鳥の時間的一貫した3次元再構成
- Authors: Johannes Hägerlind, Jonas Hentati-Sundberg, Bastian Wandt,
- Abstract要約: 本研究では,特定の種類の海鳥の単眼映像から3Dのポーズと形状を復元する手法を提案する。
我々は,9羽の鳥を同時に捕獲した映像を1万フレームのリアルタイムデータセットとして提供した。
- 参考スコア（独自算出の注目度）: 5.787285686300833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper deals with 3D reconstruction of seabirds which recently came into focus of environmental scientists as valuable bio-indicators for environmental change. Such 3D information is beneficial for analyzing the bird's behavior and physiological shape, for example by tracking motion, shape, and appearance changes. From a computer vision perspective birds are especially challenging due to their rapid and oftentimes non-rigid motions. We propose an approach to reconstruct the 3D pose and shape from monocular videos of a specific breed of seabird - the common murre. Our approach comprises a full pipeline of detection, tracking, segmentation, and temporally consistent 3D reconstruction. Additionally, we propose a temporal loss that extends current single-image 3D bird pose estimators to the temporal domain. Moreover, we provide a real-world dataset of 10000 frames of video observations on average capture nine birds simultaneously, comprising a large variety of motions and interactions, including a smaller test set with bird-specific keypoint labels. Using our temporal optimization, we achieve state-of-the-art performance for the challenging sequences in our dataset.
- Abstract（参考訳）: 本稿では,最近環境科学者が環境変化に有用なバイオインジケーターとして注目するようになった海鳥の3次元再構築について述べる。
このような3D情報は、例えば、動き、形状、外観の変化を追跡することによって、鳥の行動と生理的形状を分析するのに有用である。
コンピュータの視界から見ると、鳥は高速でしばしば非剛体的な動きのために特に困難である。
本研究では,特定の種類の海鳥の単眼映像から3Dのポーズと形状を復元する手法を提案する。
提案手法は, 検出, 追跡, セグメンテーション, 時間的に一貫した3次元再構成からなる。
さらに,現像型3次元鳥ポーズ推定器を時間領域に拡張する時間的損失を提案する。
さらに, 鳥に固有のキーポイントラベルを付けた小さなテストセットを含む, さまざまな動きや相互作用を含む, 9羽の鳥を同時に捕獲した映像を, 10000 フレームのリアルタイムデータセットとして提供した。
時間的最適化を用いて、データセットの挑戦的なシーケンスに対して最先端のパフォーマンスを実現する。
関連論文リスト
- MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳（メタデータ） (2024-10-04T18:00:07Z) - Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。
我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。
我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
論文 参考訳（メタデータ） (2023-12-21T18:59:30Z) - TriHuman : A Real-time and Controllable Tri-plane Representation for
Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。
我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。
このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
論文 参考訳（メタデータ） (2023-12-08T16:40:38Z) - 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking [14.52333427647304]
複数のカメラビューを用いて対話的な速度で最大10羽のハトの3Dポーズを推定・追跡するフレームワークである3D-MuPPETを提案する。
まず第1フレームのグローバルIDに2D検出を動的にマッチングし、次に2Dトラッカーを使用して、その後のフレームにおけるビュー間のIDを維持する。
また、3D-MuPPETは自然環境からのアノテーションを伴わずに屋外でも機能することを示した。
論文 参考訳（メタデータ） (2023-08-29T14:02:27Z) - Multi-view Tracking, Re-ID, and Social Network Analysis of a Flock of
Visually Similar Birds in an Outdoor Aviary [32.19504891200443]
曲鳥群が3次元空間を移動する際にの行動動態を研究するシステムについて紹介する。
密接な相互作用する動物群を3次元で追跡する際に生じる複雑さについて検討し、マルチビュートラッカーを評価するための新しいデータセットを提案する。
論文 参考訳（メタデータ） (2022-12-01T04:23:18Z) - Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable
Categories [80.30216777363057]
コモンペットを3Dで紹介する(CoP3D)。
テスト時には、目に見えないオブジェクトの少数のビデオフレームが与えられたとき、Tracker-NeRFはその3Dポイントの軌跡を予測し、新しいビューを生成する。
CoP3Dの結果は、既存のベースラインよりも、厳密でない新規ビュー合成性能が著しく向上した。
論文 参考訳（メタデータ） (2022-11-07T22:42:42Z) - Learning-based Monocular 3D Reconstruction of Birds: A Contemporary
Survey [6.555250822345809]
自然界では、動物の集団行動は同一種の個体間の相互作用によって支配される。
近年の3次元視覚の進歩は、3次元形状とポーズ推定に関する多くの印象的な研究につながっている。
本研究は, 単眼視に基づく3次元鳥の復元の最近の進歩を概観する最初の試みである。
論文 参考訳（メタデータ） (2022-07-10T18:13:25Z) - Spatio-temporal Self-Supervised Representation Learning for 3D Point
Clouds [96.9027094562957]
ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。
幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。
STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
論文 参考訳（メタデータ） (2021-09-01T04:17:11Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳（メタデータ） (2021-03-24T15:54:11Z) - 3D Bird Reconstruction: a Dataset, Model, and Shape Recovery from a
Single View [35.61330221535231]
我々は,生きた鳥が提示するユニークな形状とポーズ空間を捉えるためのモデルと多視点最適化手法を提案する。
次に、単一ビューから正確な鳥の姿勢を復元するキーポイント、マスク、ポーズ、形状回帰のためのパイプラインと実験を導入する。
屋外の飛行場に収容された15羽の社会鳥のグループから収集した多視点キーポイントとマスクアノテーションについて述べる。
論文 参考訳（メタデータ） (2020-08-13T23:29:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。