論文の概要: 3D-POP -- An automated annotation approach to facilitate markerless 2D-3D tracking of freely moving birds with marker-based motion capture

• arxiv url: http://arxiv.org/abs/2303.13174v1
• Date: Thu, 23 Mar 2023 11:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 14:46:12.560396
• Title: 3D-POP -- An automated annotation approach to facilitate markerless 2D-3D tracking of freely moving birds with marker-based motion capture
• Title（参考訳）: 3D-POP -- マーカーベースモーションキャプチャーを用いた自由移動鳥のマーカーレス2D-3D追跡を容易にする自動アノテーション手法
• Authors: Hemal Naik, Alex Hoi Hang Chan, Junran Yang, Mathilde Delacoux, Iain D. Couzin, Fumihiro Kano, M\'at\'e Nagy
• Abstract要約: 本研究では,モーションキャプチャ(mo-cap)システムを用いて,動物の動きや姿勢のアノテートデータを半自動で取得する手法を提案する。 本手法は, 動物に付着するマーカーの位置に関して, 形態的キーポイントの3次元位置を抽出する手法である。 この手法を用いて、ビデオ形式で約300万の注釈付きフレーム(400万インスタンス)を持つ3D-POPという新しいデータセットを得た。
• 参考スコア（独自算出の注目度）: 1.1083289076967897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in machine learning and computer vision are revolutionizing the field of animal behavior by enabling researchers to track the poses and locations of freely moving animals without any marker attachment. However, large datasets of annotated images of animals for markerless pose tracking, especially high-resolution images taken from multiple angles with accurate 3D annotations, are still scant. Here, we propose a method that uses a motion capture (mo-cap) system to obtain a large amount of annotated data on animal movement and posture (2D and 3D) in a semi-automatic manner. Our method is novel in that it extracts the 3D positions of morphological keypoints (e.g eyes, beak, tail) in reference to the positions of markers attached to the animals. Using this method, we obtained, and offer here, a new dataset - 3D-POP with approximately 300k annotated frames (4 million instances) in the form of videos having groups of one to ten freely moving birds from 4 different camera views in a 3.6m x 4.2m area. 3D-POP is the first dataset of flocking birds with accurate keypoint annotations in 2D and 3D along with bounding box and individual identities and will facilitate the development of solutions for problems of 2D to 3D markerless pose, trajectory tracking, and identification in birds.
• Abstract（参考訳）: 機械学習とコンピュータビジョンの最近の進歩は、研究者がマーカーの添付なしに自由に動く動物のポーズや位置を追跡することによって、動物の行動の分野に革命をもたらしている。 しかし、マーカーレスポーズトラッキングのための動物の注釈画像の大規模なデータセット、特に正確な3Dアノテーションを持つ複数の角度から撮影された高解像度画像は、いまだスキャンされていない。 本稿では、モーションキャプチャ(mo-cap)システムを用いて、動物の動きと姿勢(2D, 3D)に関する大量の注釈データを半自動で取得する手法を提案する。 形態的キーポイント(例えば、目、くちばし、尾)の3次元位置を動物に付着したマーカーの位置から抽出する手法は新規である。 この手法を用いて,3.6m×4.2m領域の4つの異なるカメラビューから1から10羽の鳥を自由に移動させるビデオの形式で,約300万フレーム(400万例)の3D-POPのデータセットを得た。 3d-popは、2dと3dの正確なキーポイントアノテーションとバウンディングボックスと個々のidを持つ鳥の最初のデータセットであり、2dから3dのマーカーレスポーズ、軌道追跡、鳥の識別といった問題に対する解決策の開発を容易にする。

関連論文リスト

• Benchmarking Monocular 3D Dog Pose Estimation Using In-The-Wild Motion Capture Data [17.042955091063444]
  単眼画像からの3次元犬のポーズ推定に焦点をあてた新しいベンチマーク分析を提案する。 マルチモーダルなデータセット3DDogs-Labは屋内で撮影され、様々な犬種が通路で群がっている。 3DDogs-Wildは、光学マーカーをインペイントし、被験者を多様な環境に配置するデータセットの帰化バージョンです。 また, 3DDogs-Wild を用いたモデルトレーニングにより, フィールド内データの評価において, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-06-20T15:33:39Z)
• SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
  本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。 この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
  論文  参考訳（メタデータ） (2024-04-05T17:59:25Z)
• 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking [14.52333427647304]
  複数のカメラビューを用いて対話的な速度で最大10羽のハトの3Dポーズを推定・追跡するフレームワークである3D-MuPPETを提案する。 まず第1フレームのグローバルIDに2D検出を動的にマッチングし、次に2Dトラッカーを使用して、その後のフレームにおけるビュー間のIDを維持する。 また、3D-MuPPETは自然環境からのアノテーションを伴わずに屋外でも機能することを示した。
  論文  参考訳（メタデータ） (2023-08-29T14:02:27Z)
• LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
  そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:00:07Z)
• Gait Recognition in the Wild with Dense 3D Representations and A Benchmark [86.68648536257588]
  既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。 本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。 大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
  論文  参考訳（メタデータ） (2022-04-06T03:54:06Z)
• DOVE: Learning Deformable 3D Objects by Watching Videos [89.43105063468077]
  本研究では,鳥の単一2次元画像から3次元標準形状,変形,視点,テクスチャの予測を学習するDOVEを提案する。 本手法は時間的に一貫した3次元形状と変形を再構成し,任意の視点から鳥をアニメーション化し再レンダリングする。
  論文  参考訳（メタデータ） (2021-07-22T17:58:10Z)
• AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs in the Wild [51.35013619649463]
  我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。 データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。 また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
  論文  参考訳（メタデータ） (2021-03-24T15:54:11Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution [34.301501457959056]
  本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。 また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。 提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-31T04:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。