論文の概要: NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction

• arxiv url: http://arxiv.org/abs/2405.12505v1
• Date: Tue, 21 May 2024 05:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:18:37.216873
• Title: NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction
• Title（参考訳）: NOVA-3D:3Dアニメキャラクタ再構成のための非オーバーラップビュー
• Authors: Hongsheng Wang, Nanjie Yao, Xinrui Zhou, Shengyu Zhang, Huahao Xu, Fei Wu, Feng Lin,
• Abstract要約: 3D textbf Anime character Reconstruction (NOVA-3D) の非オーバーラップビュー 新しいフレームワークは、3D一貫性のある特徴を効果的に学習するためのビュー認識機能融合法を実装している。 実験では、特筆すべき細かな忠実さを持つアニメキャラクターの優れた再構成が示されている。
• 参考スコア（独自算出の注目度）: 14.509202872426942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the animation industry, 3D modelers typically rely on front and back non-overlapped concept designs to guide the 3D modeling of anime characters. However, there is currently a lack of automated approaches for generating anime characters directly from these 2D designs. In light of this, we explore a novel task of reconstructing anime characters from non-overlapped views. This presents two main challenges: existing multi-view approaches cannot be directly applied due to the absence of overlapping regions, and there is a scarcity of full-body anime character data and standard benchmarks. To bridge the gap, we present Non-Overlapped Views for 3D \textbf{A}nime Character Reconstruction (NOVA-3D), a new framework that implements a method for view-aware feature fusion to learn 3D-consistent features effectively and synthesizes full-body anime characters from non-overlapped front and back views directly. To facilitate this line of research, we collected the NOVA-Human dataset, which comprises multi-view images and accurate camera parameters for 3D anime characters. Extensive experiments demonstrate that the proposed method outperforms baseline approaches, achieving superior reconstruction of anime characters with exceptional detail fidelity. In addition, to further verify the effectiveness of our method, we applied it to the animation head reconstruction task and improved the state-of-the-art baseline to 94.453 in SSIM, 7.726 in LPIPS, and 19.575 in PSNR on average. Codes and datasets are available at https://wanghongsheng01.github.io/NOVA-3D/.
• Abstract（参考訳）: アニメーション業界では、3Dモデラーは通常、アニメキャラクターの3Dモデリングを導くために、前と後ろのオーバーラップしないコンセプトデザインに頼っている。 しかし、現在ではこれらの2Dデザインから直接アニメキャラクタを生成するための自動アプローチが欠如している。 これを踏まえて、オーバーラップしない視点からアニメキャラクターを再構築する新たな課題を探求する。 既存のマルチビューアプローチは重複する領域がないために直接適用できないし、フルボディのアニメキャラクタデータと標準ベンチマークが不足している。 このギャップを埋めるために、我々は3D \textbf{A}nime character Reconstruction (NOVA-3D) のための非オーバーラップされたビューを提示する。これは、3D一貫性のある特徴を効果的に学習し、非オーバーラップされたフロントとバックビューから直接フルボディのアニメキャラクターを合成するビュー認識機能融合法を実装した新しいフレームワークである。 そこで我々は,多視点画像と3Dアニメキャラクタの正確なカメラパラメータを含むNOVA-Humanデータセットを収集した。 大規模な実験により,提案手法はベースライン手法よりも優れており,特筆すべき細かな忠実さを持つアニメキャラクタのより優れた再構成を実現している。 さらに,本手法の有効性をさらに検証するため,アニメーションヘッド再構築タスクに適用し,SSIMでは94.453,LPIPSでは7.726,PSNRでは19.575に改善した。 コードとデータセットはhttps://wanghongsheng01.github.io/NOVA-3D/で公開されている。

関連論文リスト

• Toon3D: Seeing Cartoons from a New Perspective [52.85312338932685]
  我々は漫画やアニメの手描き画像に焦点をあてる。 多くの漫画は3Dレンダリングエンジンのないアーティストによって作られており、シーンの新しいイメージは手描きである。 我々は、2次元図面の不整合を補正し、新たに歪んだ図面が互いに整合するように、可視な3次元構造を復元する。
  論文  参考訳（メタデータ） (2024-05-16T17:59:51Z)
• Agent3D-Zero: An Agent for Zero-shot 3D Understanding [79.88440434836673]
  Agent3D-Zeroは、3Dシーン理解に対処する革新的な3D対応エージェントフレームワークである。 本稿では,3次元理解のための視点を積極的に選択し,分析することで,VLM(Large Visual Language Model)を利用する新しい手法を提案する。 Agent3D-Zeroの独特な利点は、新しい視覚的プロンプトの導入である。
  論文  参考訳（メタデータ） (2024-03-18T14:47:03Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• PAniC-3D: Stylized Single-view 3D Reconstruction from Portraits of Anime Characters [29.107457721261387]
  提案するPAniC-3Dは, (ani)me (c)haractersの図形(p)ortraitsから直接スタイリングされた3D文字を再構成するシステムである。
  論文  参考訳（メタデータ） (2023-03-25T23:36:17Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• RaBit: Parametric Modeling of 3D Biped Cartoon Characters with a Topological-consistent Dataset [19.494054103293116]
  3DBiCarは3D2Dアニメキャラクタの最初の大規模データセットであり、RaBitは対応するパラメトリックモデルである。 RaBitはSMPLのような線形ブレンド形状モデルとStyleGANベースのニューラルUVテクスチャ生成器で構築されており、形状、ポーズ、テクスチャを同時に表現している。 シングルビュー再構成やスケッチベースモデリング,3Dアニメーションなど,さまざまなアプリケーションが実施されている。
  論文  参考訳（メタデータ） (2023-03-22T13:46:15Z)
• AnimeRun: 2D Animation Visual Correspondence from Open Source 3D Movies [98.65469430034246]
  既存の2次元漫画のデータセットは、単純なフレーム構成と単調な動きに悩まされている。 我々は,オープンソースの3D映画を2Dスタイルのフルシーンに変換することによって,新しい2Dアニメーション視覚対応データセットAnimeRunを提案する。 分析の結果,提案したデータセットは画像合成において実際のアニメに似るだけでなく,既存のデータセットと比較してよりリッチで複雑な動きパターンを持つことがわかった。
  論文  参考訳（メタデータ） (2022-11-10T17:26:21Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• ARCH: Animatable Reconstruction of Clothed Humans [27.849315613277724]
  ARCH(Animatable Reconstruction of Clothed Humans)は、モノクロ画像からアニメーション可能な3D衣服を正確に再構築するためのエンドツーエンドのフレームワークである。 ARCHは、単一の制約のないRGB画像から、詳細な3Dリップされたフルボディアバターを生成する、学習されたポーズ認識モデルである。
  論文  参考訳（メタデータ） (2020-04-08T14:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。