論文の概要: Collaborative Neural Rendering using Anime Character Sheets

• arxiv url: http://arxiv.org/abs/2207.05378v5
• Date: Fri, 14 Apr 2023 18:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 00:34:42.670424
• Title: Collaborative Neural Rendering using Anime Character Sheets
• Title（参考訳）: アニメ文字シートを用いた協調ニューラルレンダリング
• Authors: Zuzeng Lin, Ailin Huang, Zhewei Huang
• Abstract要約: いくつかの参照画像から特定のポーズに対する新しい画像を生成するコラボレーティブ・ニューラルレンダリング(CoNR)手法を提案する。 CoNRは、パイプライン内で統一されたUVマッピングを作成するのを避けるために、コンパクトで容易に達成できるランドマークエンコーディングを使用している。 我々は,70万枚以上の手書き画像と多彩なポーズの合成画像を含む文字シートデータセットを収集した。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Drawing images of characters with desired poses is an essential but laborious task in anime production. Assisting artists to create is a research hotspot in recent years. In this paper, we present the Collaborative Neural Rendering (CoNR) method, which creates new images for specified poses from a few reference images (AKA Character Sheets). In general, the diverse hairstyles and garments of anime characters defies the employment of universal body models like SMPL, which fits in most nude human shapes. To overcome this, CoNR uses a compact and easy-to-obtain landmark encoding to avoid creating a unified UV mapping in the pipeline. In addition, the performance of CoNR can be significantly improved when referring to multiple reference images, thanks to feature space cross-view warping in a carefully designed neural network. Moreover, we have collected a character sheet dataset containing over 700,000 hand-drawn and synthesized images of diverse poses to facilitate research in this area. Our code and demo are available at https://github.com/megvii-research/IJCAI2023-CoNR.
• Abstract（参考訳）: アニメ制作において、キャラクターのイメージを所望のポーズで描くことは必須だが手間がかかる作業である。 近年,アーティストの創造支援が研究のホットスポットとなっている。 本稿では,いくつかの参照画像(文字シート)から特定のポーズの新たな画像を生成する協調ニューラルレンダリング(conr)手法を提案する。 概して、アニメキャラクターの多様な髪型や衣服は、ほとんどの裸体型にフィットするsmplのような普遍的なボディモデルの雇用を欠いている。 これを解決するため、CoNRでは、コンパクトで分かりやすいランドマークエンコーディングを使用して、パイプライン内の統一UVマッピングの作成を回避する。 さらに、注意深く設計されたニューラルネットワークにおける特徴空間クロスビューウォーピングにより、複数の参照画像を参照する場合にconrの性能が大幅に向上する。 また,70万以上の手書き合成画像を含む文字シートデータセットを収集し,この領域の研究を容易にする。 私たちのコードとデモはhttps://github.com/megvii-research/ijcai2023-conrで利用可能です。

関連論文リスト

• NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction [14.509202872426942]
  3D textbf Anime character Reconstruction (NOVA-3D) の非オーバーラップビュー 新しいフレームワークは、3D一貫性のある特徴を効果的に学習するためのビュー認識機能融合法を実装している。 実験では、特筆すべき細かな忠実さを持つアニメキャラクターの優れた再構成が示されている。
  論文  参考訳（メタデータ） (2024-05-21T05:31:03Z)
• TexVocab: Texture Vocabulary-conditioned Human Avatars [42.170169762733835]
  TexVocabは、テクスチャ語彙を構築し、ボディポーズをアニメーション用のテクスチャマップに関連付ける新しいアバター表現である。 提案手法は,RGBビデオから詳細な動的外見を持つアニマタブルなヒトアバターを作成できる。
  論文  参考訳（メタデータ） (2024-03-31T01:58:04Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• PixelHuman: Animatable Neural Radiance Fields from Few Images [27.932366091437103]
  我々は,人の数枚の画像からアニマタブルな人間のシーンを生成する新しいレンダリングモデルであるPixelHumanを提案する。 提案手法は既存の手法と異なり, 人体合成のための任意の入力画像に一般化可能である。 実験により,本手法はマルチビューで最先端の性能を達成し,少数ショット画像から新しいポーズ合成を実現する。
  論文  参考訳（メタデータ） (2023-07-18T08:41:17Z)
• ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs [61.677180970486546]
  本稿では,ActorNeRFと呼ばれる新しいアニマタブルNeRFを提案する。 最初は多様な人間の被写体で事前訓練され、その後、目に見えないポーズを持つ新しい俳優のために、数発の単眼ビデオフレームで調整される。 我々は、アクターNeRFが、新しい人々への数ショットの一般化や複数のデータセットのポーズにおいて、既存の最先端技術よりも著しく優れていることを定量的に、質的に証明する。
  論文  参考訳（メタデータ） (2023-04-27T17:58:48Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• CodeNeRF: Disentangled Neural Radiance Fields for Object Categories [8.195186340022504]
  CodeNeRFは暗黙の3Dニューラル表現で、カテゴリ全体にわたるオブジェクトの形状とテクスチャの変化を学習する。 これは、一連のポーズ画像から、目に見えない物体の新たなビューを合成するために訓練することができる。
  論文  参考訳（メタデータ） (2021-09-03T23:02:45Z)
• The Power of Points for Modeling Humans in Clothing [60.00557674969284]
  現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。 3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。 我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:45Z)
• Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
  数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。 NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。 我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:31Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。