論文の概要: MagicPony: Learning Articulated 3D Animals in the Wild
- arxiv url: http://arxiv.org/abs/2211.12497v1
- Date: Tue, 22 Nov 2022 18:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:36:53.821448
- Title: MagicPony: Learning Articulated 3D Animals in the Wild
- Title（参考訳）: MagicPony:野生の3D動物を学習する
- Authors: Shangzhe Wu, Ruining Li, Tomas Jakab, Christian Rupprecht, Andrea
Vedaldi
- Abstract要約: 本稿では,オブジェクトカテゴリの単一ビュー画像から関数を純粋に学習するMagicPonyという新しい手法を提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
先行研究と比較すると,この課題に対する定量的,定性的な改善が見られた。
- 参考スコア（独自算出の注目度）: 81.63322697335228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of learning a function that can estimate the 3D
shape, articulation, viewpoint, texture, and lighting of an articulated animal
like a horse, given a single test image. We present a new method, dubbed
MagicPony, that learns this function purely from in-the-wild single-view images
of the object category, with minimal assumptions about the topology of
deformation. At its core is an implicit-explicit representation of articulated
shape and appearance, combining the strengths of neural fields and meshes. In
order to help the model understand an object's shape and pose, we distil the
knowledge captured by an off-the-shelf self-supervised vision transformer and
fuse it into the 3D model. To overcome common local optima in viewpoint
estimation, we further introduce a new viewpoint sampling scheme that comes at
no added training cost. Compared to prior works, we show significant
quantitative and qualitative improvements on this challenging task. The model
also demonstrates excellent generalisation in reconstructing abstract drawings
and artefacts, despite the fact that it is only trained on real images.
- Abstract（参考訳）: 本研究では, 単一実験画像から, 3次元形状, 明瞭度, 視点, テクスチャ, 照明を推定できる関数を学習する際の問題点を考察する。
変形のトポロジに関する仮定を最小限に抑えながら,対象カテゴリのワンビュー画像から純粋にこの関数を学習するMagicPonyという新しい手法を提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
モデルが物体の形状やポーズを理解するのを助けるために,既製の自己監督型視覚変換器で捉えた知識を3Dモデルに融合させる。
視点推定において共通の局所視能を克服するために,追加の訓練コストを伴わない新しい視点サンプリング方式も導入する。
先行研究と比較して,この課題に対する定量的,質的改善が示された。
このモデルは、実際の画像でのみ訓練されているにもかかわらず、抽象的な図面やアーティファクトを再構築する際の優れた一般化を示す。
関連論文リスト
- Learning the 3D Fauna of the Web [70.01196719128912]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。
動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。
従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文 参考訳（メタデータ） (2024-01-04T18:32:48Z) - Understanding Pose and Appearance Disentanglement in 3D Human Pose
Estimation [72.50214227616728]
ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。
我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。
我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
論文 参考訳（メタデータ） (2023-09-20T22:22:21Z) - SAOR: Single-View Articulated Object Reconstruction [17.2716639564414]
野生で撮影された単一画像から3次元形状, テクスチャ, 視点を推定するための新しいアプローチであるSAORを紹介する。
事前に定義されたカテゴリ固有の3Dテンプレートや調整された3Dスケルトンに依存する従来のアプローチとは異なり、SAORは3Dオブジェクトの形状を事前に必要とせずに、スケルトンフリーのパーツベースモデルで単一ビューイメージコレクションから形状を明瞭化することを学ぶ。
論文 参考訳（メタデータ） (2023-03-23T17:59:35Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳（メタデータ） (2023-02-21T16:18:40Z) - Neural Articulated Radiance Field [90.91714894044253]
本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。
実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
論文 参考訳（メタデータ） (2021-04-07T13:23:14Z) - Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。
自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。
ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
論文 参考訳（メタデータ） (2020-07-22T11:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。