論文の概要: MUNCH: Modelling Unique 'N Controllable Heads

• arxiv url: http://arxiv.org/abs/2310.02753v1
• Date: Wed, 4 Oct 2023 11:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 15:20:01.843671
• Title: MUNCH: Modelling Unique 'N Controllable Heads
• Title（参考訳）: MUNCH:ユニークな「Nコントロール可能なヘッド」をモデル化
• Authors: Debayan Deb, Suvidha Tripathi, and Pranit Puri
• Abstract要約: 本稿では、品質、多様性、制御、リアリズムと説明可能なネットワーク設計を提供する手法を提案する。 Render Map Generatorは、Albedo、Glossiness、Specular、Normalsなど、多機能で高忠実な物理ベースのレンダリングマップを合成することを学ぶ。 出力のきめ細かい制御を好むアーティストに対しては、生成した地図のセマンティックな色制御を可能にする新しいカラートランスフォーマーモデルを導入する。
• 参考スコア（独自算出の注目度）: 4.574373524692042
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The automated generation of 3D human heads has been an intriguing and challenging task for computer vision researchers. Prevailing methods synthesize realistic avatars but with limited control over the diversity and quality of rendered outputs and suffer from limited correlation between shape and texture of the character. We propose a method that offers quality, diversity, control, and realism along with explainable network design, all desirable features to game-design artists in the domain. First, our proposed Geometry Generator identifies disentangled latent directions and generate novel and diverse samples. A Render Map Generator then learns to synthesize multiply high-fidelty physically-based render maps including Albedo, Glossiness, Specular, and Normals. For artists preferring fine-grained control over the output, we introduce a novel Color Transformer Model that allows semantic color control over generated maps. We also introduce quantifiable metrics called Uniqueness and Novelty and a combined metric to test the overall performance of our model. Demo for both shapes and textures can be found: https://munch-seven.vercel.app/. We will release our model along with the synthetic dataset.
• Abstract（参考訳）: 3d人間の頭部の自動生成は、コンピュータビジョン研究者にとって興味深く挑戦的なタスクだ。 一般的な方法は現実的なアバターを合成するが、出力の多様性と品質を限定的に制御し、文字の形状とテクスチャの相関が限定されている。 そこで本稿では,品質,多様性,コントロール,リアリズム,ネットワークデザインなど,ドメイン内のゲームデザインアーチストに望ましい特徴を提示する手法を提案する。 まず,提案する幾何発生器は,乱れ方向を識別し,新しい多様なサンプルを生成する。 Render Map Generatorは、Albedo、Glossiness、Specular、Normalsなど、多機能で高忠実な物理ベースのレンダリングマップの合成を学ぶ。 出力の細かな制御を好むアーティストには,生成地図上で意味的な色制御を可能にする新しいカラートランスフォーマーモデルを導入する。 また、Uniqueness and Noveltyと呼ばれる定量メトリクスと、モデル全体のパフォーマンスをテストするための組み合わせメトリクスも導入しています。 形状とテクスチャのデモは、https://munch-seven.vercel.app/で見ることができる。 合成データセットとともにモデルをリリースします。

関連論文リスト

• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
  拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。 近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。 予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。 我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
  論文  参考訳（メタデータ） (2023-09-15T16:34:51Z)
• VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis [27.81573705217842]
  本研究では,パラメトリックな人体テンプレートSMPLの頂点によってパラメータ化される人体放射野であるVeRi3Dを提案する。 我々の単純なアプローチは、カメラポーズ、人間のポーズ、形状を自由に制御できるフォトリアリスティックな人間の画像を生成するだけでなく、部分レベルの編集を可能にすることを実証している。
  論文  参考訳（メタデータ） (2023-09-09T13:53:29Z)
• Learning Locally Editable Virtual Humans [37.95173373011365]
  完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。 私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。 提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
  論文  参考訳（メタデータ） (2023-04-28T23:06:17Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。