論文の概要: NeuralFur: Animal Fur Reconstruction From Multi-View Images
- arxiv url: http://arxiv.org/abs/2601.12481v1
- Date: Sun, 18 Jan 2026 16:46:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.646363
- Title: NeuralFur: Animal Fur Reconstruction From Multi-View Images
- Title(参考訳): NeuralFur:マルチビュー画像から動物の毛皮を復元する
- Authors: Vanessa Sklyarova, Berna Kabadayi, Anastasios Yiannakidis, Giorgio Becherini, Michael J. Black, Justus Thies,
- Abstract要約: 画像からリアルな動物の毛皮の形状を再構築することは、微細な細部、自己閉塞性、毛皮の外観に依存しているため、難しい作業である。
ストランドベース表現を用いた動物の高忠実度3次元毛皮モデリングのための,第1のマルチビューベース手法を提案する。
- 参考スコア(独自算出の注目度): 56.497408146667205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing realistic animal fur geometry from images is a challenging task due to the fine-scale details, self-occlusion, and view-dependent appearance of fur. In contrast to human hairstyle reconstruction, there are also no datasets that can be leveraged to learn a fur prior for different animals. In this work, we present a first multi-view-based method for high-fidelity 3D fur modeling of animals using a strand-based representation, leveraging the general knowledge of a vision language model. Given multi-view RGB images, we first reconstruct a coarse surface geometry using traditional multi-view stereo techniques. We then use a vision language model (VLM) system to retrieve information about the realistic length structure of the fur for each part of the body. We use this knowledge to construct the animal's furless geometry and grow strands atop it. The fur reconstruction is supervised with both geometric and photometric losses computed from multi-view images. To mitigate orientation ambiguities stemming from the Gabor filters that are applied to the input images, we additionally utilize the VLM to guide the strands' growth direction and their relation to the gravity vector that we incorporate as a loss. With this new schema of using a VLM to guide 3D reconstruction from multi-view inputs, we show generalization across a variety of animals with different fur types. For additional results and code, please refer to https://neuralfur.is.tue.mpg.de.
- Abstract(参考訳): 画像からリアルな動物の毛皮の形状を再構築することは、微細な細部、自己閉塞性、毛皮の外観に依存しているため、難しい作業である。
人間の髪型再構築とは対照的に、異なる動物に先立って毛皮を学ぶために活用できるデータセットは存在しない。
本研究では,視覚言語モデルの一般的な知識を活かした,ストランドベース表現を用いた動物の高忠実度3次元毛皮モデリングのための,最初のマルチビューベース手法を提案する。
マルチビューRGB画像から,まず従来のマルチビューステレオ技術を用いて粗い表面形状を再構成する。
次に、視覚言語モデル(VLM)システムを用いて、各部位の毛皮の現実的な長さ構造に関する情報を取得する。
私たちはこの知識を使って、動物の毛皮のない地形を構築し、その上に鎖を成長させます。
ファーコンストラクションは、多視点画像から計算した幾何的損失と測光損失の両方で教師される。
入力画像に適用したGaborフィルタから生じる配向の曖昧さを軽減するため,VLMを用いて,損失として取り込んだストランドの成長方向と重力ベクトルとの関係を導出する。
マルチビュー入力から3次元再構成を誘導するためにVLMを用いた新しいスキーマを用いることで、異なる種類の毛皮を持つ様々な動物にまたがる一般化を示す。
さらなる結果とコードについては、https://neuralfur.is.tue.mpg.deを参照してください。
関連論文リスト
- Reconstructing Animals and the Wild [51.98009864071166]
本研究では,単一画像から自然シーンを再構成する手法を提案する。
当社のアプローチは、大規模言語モデルにおける強力な世界の先駆的活用の進歩に基づくものです。
本稿では,100万枚の画像と数千枚の資産からなる合成データセットを提案する。
論文 参考訳(メタデータ) (2024-11-27T23:24:27Z) - Learning the 3D Fauna of the Web [70.01196719128912]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。
動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。
従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文 参考訳(メタデータ) (2024-01-04T18:32:48Z) - MagicPony: Learning Articulated 3D Animals in the Wild [81.63322697335228]
そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
論文 参考訳(メタデータ) (2022-11-22T18:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。