論文の概要: LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery

• arxiv url: http://arxiv.org/abs/2207.03434v1
• Date: Thu, 7 Jul 2022 17:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 16:30:19.740391
• Title: LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery
• Title（参考訳）: LASSIE:3Dパーツ発見によるスパース画像アンサンブルからのArticulated Shapesの学習
• Authors: Chun-Han Yao, Wei-Chih Hung, Yuanzhen Li, Michael Rubinstein, Ming-Hsuan Yang, Varun Jampani
• Abstract要約: そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
• 参考スコア（独自算出の注目度）: 72.3681707384754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating high-quality articulated 3D models of animals is challenging either via manual creation or using 3D scanning tools. Therefore, techniques to reconstruct articulated 3D objects from 2D images are crucial and highly useful. In this work, we propose a practical problem setting to estimate 3D pose and shape of animals given only a few (10-30) in-the-wild images of a particular animal species (say, horse). Contrary to existing works that rely on pre-defined template shapes, we do not assume any form of 2D or 3D ground-truth annotations, nor do we leverage any multi-view or temporal information. Moreover, each input image ensemble can contain animal instances with varying poses, backgrounds, illuminations, and textures. Our key insight is that 3D parts have much simpler shape compared to the overall animal and that they are robust w.r.t. animal pose articulations. Following these insights, we propose LASSIE, a novel optimization framework which discovers 3D parts in a self-supervised manner with minimal user intervention. A key driving force behind LASSIE is the enforcing of 2D-3D part consistency using self-supervisory deep features. Experiments on Pascal-Part and self-collected in-the-wild animal datasets demonstrate considerably better 3D reconstructions as well as both 2D and 3D part discovery compared to prior arts. Project page: chhankyao.github.io/lassie/
• Abstract（参考訳）: 動物の高品質な3dモデルを作るには、手作業で作るか、3dスキャンツールを使うかが難しい。 そのため、2D画像から3Dオブジェクトを再構成する技術は重要であり、非常に有用である。 本研究では,特定の動物種(例えば,馬)の眼内画像のごく一部(10～30)しか与えていない動物の3次元ポーズと形状を推定する実践的な問題設定を提案する。 既定のテンプレート形状に依存する既存の作品とは異なり、2dや3dの地中アノテーションのいかなる形式も想定していないし、マルチビューやテンポラリな情報も利用していない。 さらに、各入力画像アンサンブルは、ポーズ、背景、照明、テクスチャの異なる動物インスタンスを含むことができる。 我々の重要な洞察は、3Dの部品は全体の動物に比べてずっと単純な形状であり、それらが頑丈なw.r.t.動物の構図であるということである。 そこで本研究では,ユーザ介入を最小限に抑えた自己教師型3次元部品発見のための新しい最適化フレームワークLASSIEを提案する。 LASSIEの背後にある重要な駆動力は、自己監督的な深部特徴を用いた2D-3D部分の一貫性の強化である。 pascal-partとself-collected in-the-wild動物データセットの実験は、先行技術に比べて2dと3dの両方の発見だけでなく、かなり優れた3d再構成を示している。 プロジェクトページ:chhankyao.github.io/lassie/

関連論文リスト

• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Two-stage Synthetic Supervising and Multi-view Consistency Self-supervising based Animal 3D Reconstruction by Single Image [30.997936022365018]
  本研究では,2段階指導と自己監督訓練を組み合わせることで,動物による3Dスキャンの課題に対処する。 本研究は,鳥の3次元ディジタル化の定量的・定性的側面において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-22T07:06:38Z)
• Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
  哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。 動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
  論文  参考訳（メタデータ） (2023-08-22T18:57:07Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• EVA3D: Compositional 3D Human Generation from 2D Image Collections [27.70991135165909]
  EVA3Dは2次元画像のみから学習した無条件の3次元人体生成モデルである。 詳細な形状の3D人間をサンプリングし、鐘や笛を使わずに高品質な画像(最大512x256まで)をレンダリングすることができる。 テクスチャーとテクスチャ品質の両方に関して、最先端の3Dヒューマンジェネレーション性能を実現する。
  論文  参考訳（メタデータ） (2022-10-10T17:59:31Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。