Fugu-MT 論文翻訳(概要): A Horse with no Labels: Self-Supervised Horse Pose Estimation from Unlabelled Images and Synthetic Prior

論文の概要: A Horse with no Labels: Self-Supervised Horse Pose Estimation from Unlabelled Images and Synthetic Prior

arxiv url: http://arxiv.org/abs/2308.03411v1
Date: Mon, 7 Aug 2023 09:02:26 GMT
ステータス: 処理完了
システム内更新日: 2023-08-08 14:35:12.342357
Title: A Horse with no Labels: Self-Supervised Horse Pose Estimation from Unlabelled Images and Synthetic Prior
Title（参考訳）: ラベルなしの馬:ラベルなし画像と合成事前画像から自己教師付き馬のポーズ推定
Authors: Jose Sosa and David Hogg
Abstract要約: 動物ポーズを推定するための簡易かつ効果的な自己教師手法を提案する。提案手法は,主にYouTubeビデオ用に収集された馬の画像と,2D合成ポーズからなる先行画像を用いて訓練する。合成データから生成した画像や2次元の小さな2次元ポーズのような仮定は少ないものの、正確な動物のポーズを学習することは可能であることを実証する。
参考スコア（独自算出の注目度）: 1.0878040851638
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Obtaining labelled data to train deep learning methods for estimating animal pose is challenging. Recently, synthetic data has been widely used for pose estimation tasks, but most methods still rely on supervised learning paradigms utilising synthetic images and labels. Can training be fully unsupervised? Is a tiny synthetic dataset sufficient? What are the minimum assumptions that we could make for estimating animal pose? Our proposal addresses these questions through a simple yet effective self-supervised method that only assumes the availability of unlabelled images and a small set of synthetic 2D poses. We completely remove the need for any 3D or 2D pose annotations (or complex 3D animal models), and surprisingly our approach can still learn accurate 3D and 2D poses simultaneously. We train our method with unlabelled images of horses mainly collected for YouTube videos and a prior consisting of 2D synthetic poses. The latter is three times smaller than the number of images needed for training. We test our method on a challenging set of horse images and evaluate the predicted 3D and 2D poses. We demonstrate that it is possible to learn accurate animal poses even with as few assumptions as unlabelled images and a small set of 2D poses generated from synthetic data. Given the minimum requirements and the abundance of unlabelled data, our method could be easily deployed to different animals.
Abstract（参考訳）: 動物のポーズを推定する深層学習法を訓練するためにラベル付きデータを取得することは難しい。近年,合成データはポーズ推定に広く利用されているが,ほとんどの手法は,合成画像やラベルを利用した教師付き学習パラダイムに依存している。トレーニングは完全に教師なしか? 小さな合成データセットで十分か? 動物のポーズを推定する上で、最小の仮定は何でしょう? 提案手法は,非標識画像と少量の合成2Dポーズのみを前提とした,単純かつ効果的な自己監督手法によって,これらの課題に対処する。私たちは3Dや2Dのポーズアノテーション(複雑な3D動物モデル)の必要性を完全に排除しています。提案手法は,主にYouTubeビデオ用に収集された馬の画像と,2D合成ポーズからなる先行画像を用いて訓練する。後者は、トレーニングに必要な画像の数より3倍小さい。本手法は,馬像の難解な組でテストし,予測した3次元および2次元ポーズを評価する。本研究は, 合成データから生成する2次元ポーズとラベルなし画像として, 少ない仮定でも正確な動物のポーズを学習できることを実証する。最小限の要件と少ないデータの量を考えると、我々の方法は容易に異なる動物に展開できる。

関連論文リスト

Dessie: Disentanglement for Articulated 3D Horse Shape and Pose Estimation from Images [21.718426435322925]
合成データ生成とゆがみを利用して3次元形状とポーズを復元する最初の手法を提案する。我々の方法であるDessieは、既存の3D馬の復元方法を超え、シマウマ、ウシ、シカといった他の大型動物に一般化する。
論文参考訳（メタデータ） (2024-10-04T13:52:22Z)
ZebraPose: Zebra Detection and Pose Estimation using only Synthetic Data [0.2302001830524133]
3次元シミュレータで生成された合成データを用いて、ゼブラの検知と2次元ポーズ推定の両方に使用できる最初の合成データセットを得る。複数の実世界および合成データセット上で検出と2次元ポーズ推定モデルを広範囲にトレーニングし、ベンチマークする。これらの実験は、スクラッチから訓練されたモデルと合成データのみで、ゼブラの実際の画像に一貫して一般化できることを示す。
論文参考訳（メタデータ） (2024-08-20T13:28:37Z)
MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
論文参考訳（メタデータ） (2024-08-20T12:55:14Z)
Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
論文参考訳（メタデータ） (2023-08-22T18:57:07Z)
Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior [0.7499722271664145]
そこで本稿では, 合成合成経験的ポーズを用いた2次元マウスのポーズ推定手法を提案する。本手法はマウスの四肢構造に適応し,合成3次元マウスモデルから2次元ポーズの経験的先行を生成できる。新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。
論文参考訳（メタデータ） (2023-07-25T09:31:55Z)
Learning 3D-aware Image Synthesis with Unknown Pose Distribution [68.62476998646866]
既存の3D画像合成法は、トレーニングセットに基づいて事前に推定された3Dポーズ分布に依存する。本研究は3次元ポーズ先行条件から生成放射場を解放するPoF3Dを提案する。
論文参考訳（メタデータ） (2023-01-18T18:47:46Z)
Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
論文参考訳（メタデータ） (2022-08-30T01:17:50Z)
VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual Data [69.64723752430244]
このタスクに特有の隠れた「フリーランチ」を活用するための2段階学習フレームワークであるVirtualPoseを紹介する。 1段目は画像を抽象幾何学表現(AGR)に変換し、2段目はそれらを3Dポーズにマッピングする。 1)第1段は多様な2次元データセットでトレーニングし、限られた外観への過度な適合のリスクを軽減し、2)多数の仮想カメラとポーズから合成された多様なAGRでトレーニングすることができる。
論文参考訳（メタデータ） (2022-07-20T14:47:28Z)
LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
論文参考訳（メタデータ） (2022-07-07T17:00:07Z)
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文参考訳（メタデータ） (2020-04-09T07:55:01Z)
Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
論文参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。