論文の概要: MagicPony: Learning Articulated 3D Animals in the Wild
- arxiv url: http://arxiv.org/abs/2211.12497v2
- Date: Fri, 31 Mar 2023 01:39:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 17:10:10.977440
- Title: MagicPony: Learning Articulated 3D Animals in the Wild
- Title（参考訳）: MagicPony:野生の3D動物を学習する
- Authors: Shangzhe Wu, Ruining Li, Tomas Jakab, Christian Rupprecht, Andrea
Vedaldi
- Abstract要約: そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
- 参考スコア（独自算出の注目度）: 81.63322697335228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of predicting the 3D shape, articulation, viewpoint,
texture, and lighting of an articulated animal like a horse given a single test
image as input. We present a new method, dubbed MagicPony, that learns this
predictor purely from in-the-wild single-view images of the object category,
with minimal assumptions about the topology of deformation. At its core is an
implicit-explicit representation of articulated shape and appearance, combining
the strengths of neural fields and meshes. In order to help the model
understand an object's shape and pose, we distil the knowledge captured by an
off-the-shelf self-supervised vision transformer and fuse it into the 3D model.
To overcome local optima in viewpoint estimation, we further introduce a new
viewpoint sampling scheme that comes at no additional training cost. MagicPony
outperforms prior work on this challenging task and demonstrates excellent
generalisation in reconstructing art, despite the fact that it is only trained
on real images.
- Abstract（参考訳）: 馬のような関節動物の3次元形状,調音,視点,テクスチャ,照明を入力として予測する問題を考える。
変形のトポロジに関する仮定を最小限に抑えながら、対象カテゴリのワンビュー画像からこの予測器を純粋に学習するMagicPonyという新しい手法を提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
モデルが物体の形状やポーズを理解するのを助けるために,既製の自己監督型視覚変換器で捉えた知識を3Dモデルに融合させる。
視点推定における局所視能を克服するために,追加の訓練コストを伴わない新しい視点サンプリング方式を提案する。
MagicPonyは、この挑戦的なタスクの先行作業より優れており、実際のイメージでしか訓練されていないにもかかわらず、アートの再構築における優れた一般化を実証している。
関連論文リスト
- Learning the 3D Fauna of the Web [70.01196719128912]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。
動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。
従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文 参考訳（メタデータ） (2024-01-04T18:32:48Z) - Understanding Pose and Appearance Disentanglement in 3D Human Pose
Estimation [72.50214227616728]
ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。
我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。
我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
論文 参考訳（メタデータ） (2023-09-20T22:22:21Z) - SAOR: Single-View Articulated Object Reconstruction [17.2716639564414]
野生で撮影された単一画像から3次元形状, テクスチャ, 視点を推定するための新しいアプローチであるSAORを紹介する。
事前に定義されたカテゴリ固有の3Dテンプレートや調整された3Dスケルトンに依存する従来のアプローチとは異なり、SAORは3Dオブジェクトの形状を事前に必要とせずに、スケルトンフリーのパーツベースモデルで単一ビューイメージコレクションから形状を明瞭化することを学ぶ。
論文 参考訳（メタデータ） (2023-03-23T17:59:35Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳（メタデータ） (2023-02-21T16:18:40Z) - Neural Articulated Radiance Field [90.91714894044253]
本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。
実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
論文 参考訳（メタデータ） (2021-04-07T13:23:14Z) - Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。
自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。
ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
論文 参考訳（メタデータ） (2020-07-22T11:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。