論文の概要: CharNeRF: 3D Character Generation from Concept Art

• arxiv url: http://arxiv.org/abs/2402.17115v1
• Date: Tue, 27 Feb 2024 01:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:11:36.558648
• Title: CharNeRF: 3D Character Generation from Concept Art
• Title（参考訳）: CharNeRF:コンセプトアートによる3Dキャラクタ生成
• Authors: Eddy Chu, Yiyang Chen, Chedy Raissi, Anand Bhojan
• Abstract要約: 本稿では,一貫したターンアラウンドコンセプトアートから3次元文字の体積表現を作成する新しい手法を提案する。 学習可能なビュー指向のマルチヘッド自己アテンション層を通じて,これらの3Dポイントの事前情報を利用するようにネットワークをトレーニングする。 我々のモデルは、高品質な360度キャラクタビューを生成することができる。
• 参考スコア（独自算出の注目度）: 3.8061090528695543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D modeling holds significant importance in the realms of AR/VR and gaming, allowing for both artistic creativity and practical applications. However, the process is often time-consuming and demands a high level of skill. In this paper, we present a novel approach to create volumetric representations of 3D characters from consistent turnaround concept art, which serves as the standard input in the 3D modeling industry. While Neural Radiance Field (NeRF) has been a game-changer in image-based 3D reconstruction, to the best of our knowledge, there is no known research that optimizes the pipeline for concept art. To harness the potential of concept art, with its defined body poses and specific view angles, we propose encoding it as priors for our model. We train the network to make use of these priors for various 3D points through a learnable view-direction-attended multi-head self-attention layer. Additionally, we demonstrate that a combination of ray sampling and surface sampling enhances the inference capabilities of our network. Our model is able to generate high-quality 360-degree views of characters. Subsequently, we provide a simple guideline to better leverage our model to extract the 3D mesh. It is important to note that our model's inferencing capabilities are influenced by the training data's characteristics, primarily focusing on characters with a single head, two arms, and two legs. Nevertheless, our methodology remains versatile and adaptable to concept art from diverse subject matters, without imposing any specific assumptions on the data.
• Abstract（参考訳）: 3dモデリングは、ar/vrとゲームの分野で重要な意味を持ち、芸術的創造性と実用的両方の応用を可能にする。 しかし、プロセスはしばしば時間がかかり、高いレベルのスキルを必要とします。 本稿では,3dモデリング業界における標準的なインプットとして,一貫したターンアラウンドコンセプトアートから3d文字のボリューム表現を作成するための新しい手法を提案する。 NeRF(Neural Radiance Field)は、画像に基づく3D再構成におけるゲームチェンジャーであり、私たちの知る限りでは、コンセプトアートのためのパイプラインを最適化する既知の研究はない。 概念芸術の可能性を生かし,そのボディポーズと特定のビューアングルを具体化するために,モデルを先行として符号化することを提案する。 学習可能なビュー指向のマルチヘッド自己アテンション層を通じて,これらの3Dポイントの事前情報を利用するようにネットワークをトレーニングする。 さらに, レイサンプリングと表面サンプリングの組み合わせにより, ネットワークの推論能力が向上することを示す。 私たちのモデルは高品質の360度キャラクタを生成できる。 その後、モデルを利用して3Dメッシュを抽出するための簡単なガイドラインを提供する。 モデルの推論能力はトレーニングデータの特徴に影響を受けており、主に1つの頭、2本の腕、2本の脚を持つキャラクターに焦点を当てている点に注意する必要がある。 しかしながら、我々の方法論は、データに特定の仮定を課すことなく、さまざまな主題から概念芸術に適用可能である。

関連論文リスト

• Diffusion Models in 3D Vision: A Survey [11.116658321394755]
  本稿では,3次元視覚タスクの拡散モデルを利用する最先端のアプローチについて概説する。 これらのアプローチには、3Dオブジェクト生成、形状補完、点雲再構成、シーン理解が含まれる。 本稿では,計算効率の向上,マルチモーダル融合の強化,大規模事前学習の活用などの可能性について論じる。
  論文  参考訳（メタデータ） (2024-10-07T04:12:23Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior [33.45375100074168]
  本稿では,参照画像から提供された情報をフル活用して,画像から3D生成に先立ってカスタマイズされた知識を確立する,新しい2段階のアプローチを提案する。 実験では,本手法の優位性であるCustomize-It-3Dが,従来よりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-12-15T19:07:51Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
  拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。 近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。 予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。 我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
  論文  参考訳（メタデータ） (2023-09-15T16:34:51Z)
• NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views [77.93662205673297]
  本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T17:59:06Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。