論文の概要: BARC: Learning to Regress 3D Dog Shape from Images by Exploiting Breed Information

• arxiv url: http://arxiv.org/abs/2203.15536v2
• Date: Wed, 30 Mar 2022 19:32:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 11:30:50.809339
• Title: BARC: Learning to Regress 3D Dog Shape from Images by Exploiting Breed Information
• Title（参考訳）: barc: 品種情報を活用した画像から3d犬の形状を復元する学習
• Authors: Nadine Rueegg, Silvia Zuffi, Konrad Schindler and Michael J. Black
• Abstract要約: 私たちのゴールは、1枚の画像から犬の3D形状とポーズを復元することです。 近年の研究では、画像から手足のスケールパラメータを追加してSMAL動物モデルを直接回帰する研究が提案されている。 我々の手法はBARC(Breed-Augmented Regression using Classification)と呼ばれ、いくつかの重要な方法で先行作業を越えています。 この研究は、a-prioriの遺伝子類似性に関する情報が、3Dトレーニングデータの欠如を補うのに役立つことを示している。
• 参考スコア（独自算出の注目度）: 66.77206206569802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our goal is to recover the 3D shape and pose of dogs from a single image. This is a challenging task because dogs exhibit a wide range of shapes and appearances, and are highly articulated. Recent work has proposed to directly regress the SMAL animal model, with additional limb scale parameters, from images. Our method, called BARC (Breed-Augmented Regression using Classification), goes beyond prior work in several important ways. First, we modify the SMAL shape space to be more appropriate for representing dog shape. But, even with a better shape model, the problem of regressing dog shape from an image is still challenging because we lack paired images with 3D ground truth. To compensate for the lack of paired data, we formulate novel losses that exploit information about dog breeds. In particular, we exploit the fact that dogs of the same breed have similar body shapes. We formulate a novel breed similarity loss consisting of two parts: One term encourages the shape of dogs from the same breed to be more similar than dogs of different breeds. The second one, a breed classification loss, helps to produce recognizable breed-specific shapes. Through ablation studies, we find that our breed losses significantly improve shape accuracy over a baseline without them. We also compare BARC qualitatively to WLDO with a perceptual study and find that our approach produces dogs that are significantly more realistic. This work shows that a-priori information about genetic similarity can help to compensate for the lack of 3D training data. This concept may be applicable to other animal species or groups of species. Our code is publicly available for research purposes at https://barc.is.tue.mpg.de/.
• Abstract（参考訳）: 私たちのゴールは、1枚の画像から犬の3D形状とポーズを復元することです。 犬には様々な形や外観があり、高い調音性があるため、これは難しい課題である。 近年の研究では、画像から手足のスケールパラメータを追加してSMAL動物モデルを直接回帰する研究が提案されている。 我々の手法はBARC(Breed-Augmented Regression using Classification)と呼ばれ、いくつかの重要な方法で先行作業を越えています。 まず,犬形を表すのに適したSMAL形状空間を修正した。 しかし、より優れた形状モデルであっても、画像から犬の形を後退させる問題は、私たちが3dの地中真実とペア画像が欠如しているため、依然として困難である。 ペアデータの欠如を補うために,犬種に関する情報を利用する新たな損失を定式化する。 特に、同じ品種の犬が同じ体型をしているという事実を利用する。 1つの用語は、同じ品種の犬の形が、異なる品種の犬とよりよく似ていることを奨励する。 2つ目は品種分類の損失であり、識別可能な種特異的な形状を作るのに役立つ。 アブレーション研究により、我々の品種の損失は、ベースラインの形状精度を大幅に向上させることがわかった。 また、BARCをWLDOと比較し、我々のアプローチがより現実的な犬を生み出すことを発見した。 この研究は、遺伝子類似性に関するアプリオリ情報が、3Dトレーニングデータの欠如を補うのに役立つことを示している。 この概念は、他の動物種や種群にも適用できる。 私たちのコードは https://barc.is.tue.mpg.de/ で公開されています。

関連論文リスト

• ShapeBoost: Boosting Human Shape Estimation with Part-Based Parameterization and Clothing-Preserving Augmentation [58.50613393500561]
  本研究では,新しい形状復元フレームワークであるShapeBoostを提案する。 稀な体型であってもピクセルレベルのアライメントを実現し、異なるタイプの服を着ている人には高い精度が期待できる。
  論文  参考訳（メタデータ） (2024-03-02T23:40:23Z)
• Exploiting Unlabelled Photos for Stronger Fine-Grained SBIR [103.51937218213774]
  本稿では,先行技術の11%をオーバーシュートする強力なベースラインを提示することにより,微細なスケッチベース画像検索(FG-SBIR)の文献化を推し進める。 本稿では,写真/スケッチインスタンス間の分離を明示的に実施する標準的な三重項損失の簡単な修正を提案する。 i) スケッチ間でのモダル内トリプルトロスを利用して、同じインスタンスのスケッチを他のインスタンスに近づけます。
  論文  参考訳（メタデータ） (2023-03-24T03:34:33Z)
• A Kendall Shape Space Approach to 3D Shape Estimation from 2D Landmarks [0.5161531917413708]
  単分子2次元画像から3次元形状を再構成するための,Kendallの形状空間に基づく新しい手法を提案する。 この研究は、サメの摂食行動を研究するための応用によって動機付けられている。
  論文  参考訳（メタデータ） (2022-07-26T07:00:50Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• Unified 3D Mesh Recovery of Humans and Animals by Learning Animal Exercise [29.52068540448424]
  そこで本研究では,人間と四足歩行動物の3Dメッシュのエンド・ツー・エンドの統合化について検討する。 我々は人間と動物の形態的類似性を利用して、人間が動物のポーズを模倣する動物運動に動機づけられた。
  論文  参考訳（メタデータ） (2021-11-03T18:15:50Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
  本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。 自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。 ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-07-22T11:00:27Z)
• Who Left the Dogs Out? 3D Animal Reconstruction with Expectation Maximization in the Loop [25.40930904714051]
  モノクラーインターネット画像から犬の3Dポーズと形状を復元する,エンドツーエンドの自動手法を提案する。 パラメータ推定の正則化を支援するために,従来の作業よりも形状よりもよりリッチな事前学習を行う。 我々は、Stanford Dogデータセット、20,580犬の画像の'in the wild'データセットで結果を実証した。
  論文  参考訳（メタデータ） (2020-07-21T21:52:56Z)
• RGBD-Dog: Predicting Canine Pose from RGBD Sensors [25.747221533627464]
  RGBD画像から3次元犬のポーズ推定の問題に焦点をあてる。 このデータから合成RGBD画像のデータセットを生成する。 積み重ねられた砂時計ネットワークは、3D関節の場所を予測するために訓練される。
  論文  参考訳（メタデータ） (2020-04-16T17:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。