論文の概要: DRIFu: Differentiable Rendering and Implicit Function-based Single-View 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2311.13199v1
• Date: Wed, 22 Nov 2023 07:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:56:18.962942
• Title: DRIFu: Differentiable Rendering and Implicit Function-based Single-View 3D Reconstruction
• Title（参考訳）: DRIFu: 識別可能なレンダリングとインシシト関数に基づくシングルビュー3D再構成
• Authors: Zijian Kuang, Lihang Ying, Shi Jin
• Abstract要約: DRIFu(Dariable Rendering and Implicit Function-based Model)は、Pixel-aligned Implicit Function (PIFU)から根を引く。 PIFUは低次元空間におけるニュアンスドボディー形状の変化を捉え、ヒトの3Dスキャンで広範囲に訓練されている。 この課題に対して,動物デジタル化に適したDRIFuモデルを提案する。
• 参考スコア（独自算出の注目度）: 26.502965344680117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Differentiable Rendering and Implicit Function-based model (DRIFu) draws its roots from the Pixel-aligned Implicit Function (PIFU), a pioneering 3D digitization technique initially designed for clothed human bodies. PIFU excels in capturing nuanced body shape variations within a low-dimensional space and has been extensively trained on human 3D scans. However, the application of PIFU to live animals poses significant challenges, primarily due to the inherent difficulty in obtaining the cooperation of animals for 3D scanning. In response to this challenge, we introduce the DRIFu model, specifically tailored for animal digitization. To train DRIFu, we employ a curated set of synthetic 3D animal models, encompassing diverse shapes, sizes, and even accounting for variations such as baby birds. Our innovative alignment tools play a pivotal role in mapping these diverse synthetic animal models onto a unified template, facilitating precise predictions of animal shape and texture. Crucially, our template alignment strategy establishes a shared shape space, allowing for the seamless sampling of new animal shapes, posing them realistically, animating them, and aligning them with real-world data. This groundbreaking approach revolutionizes our capacity to comprehensively understand and represent avian forms. For further details and access to the project, the project website can be found at https://github.com/kuangzijian/drifu-for-animals
• Abstract（参考訳）: DRIFu(Dariable Rendering and Implicit Function-based model)は、当初は人体用に設計された3Dデジタル化技術のパイオニアであるPixel-aligned Implicit Function(PIFU)をルーツとしている。 PIFUは低次元空間におけるニュアンスドボディー形状の変化を捉え、ヒトの3Dスキャンで広範囲に訓練されている。 しかし, 生動物へのピフの応用は, 主に3dスキャンのための動物の協力を得るのが困難であるため, 重要な課題となっている。 この課題への対応として,動物デジタル化に特化したdrifuモデルを提案する。 DRIFuの訓練には、様々な形状、大きさ、さらには赤ちゃんの鳥などのバリエーションを考慮に入れた合成3D動物モデルを用いている。 私たちの革新的なアライメントツールは、これらの多様な合成動物モデルを統一されたテンプレートにマッピングする上で重要な役割を担います。 重要なことは、私たちのテンプレートアライメント戦略は共有された形状空間を確立し、新しい動物の形をシームレスにサンプリングし、それらをリアルに撮り、アニメーションし、それらを現実世界のデータと整合させる。 この画期的なアプローチは、鳥の形を包括的に理解し表現する能力に革命をもたらします。 プロジェクトの詳細とアクセスについては、プロジェクトのwebサイトがhttps://github.com/kuangzijian/drifu-for-animalsにある。

関連論文リスト

• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
  哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。 動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
  論文  参考訳（メタデータ） (2023-08-22T18:57:07Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• MagicPony: Learning Articulated 3D Animals in the Wild [81.63322697335228]
  そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。 その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
  論文  参考訳（メタデータ） (2022-11-22T18:59:31Z)
• LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
  そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:00:07Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。