論文の概要: Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase

• arxiv url: http://arxiv.org/abs/2306.12423v1
• Date: Wed, 21 Jun 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 12:30:41.103692
• Title: Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase
• Title（参考訳）: モジュール化コードベースを用いた3次元画像合成のベンチマークと解析
• Authors: Qiuyu Wang, Zifan Shi, Kecheng Zheng, Yinghao Xu, Sida Peng, Yujun Shen
• Abstract要約: 生成プロセスをモジュール化することで、十分に構造化されたCarverを構築します。 様々な最先端アルゴリズムの再現は、モジュール化の可用性を示している。 我々は、様々な種類の点特徴の比較など、詳細な分析を行う。
• 参考スコア（独自算出の注目度）: 30.334079854982843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid advance of 3D-aware image synthesis, existing studies usually adopt a mixture of techniques and tricks, leaving it unclear how each part contributes to the final performance in terms of generality. Following the most popular and effective paradigm in this field, which incorporates a neural radiance field (NeRF) into the generator of a generative adversarial network (GAN), we build a well-structured codebase, dubbed Carver, through modularizing the generation process. Such a design allows researchers to develop and replace each module independently, and hence offers an opportunity to fairly compare various approaches and recognize their contributions from the module perspective. The reproduction of a range of cutting-edge algorithms demonstrates the availability of our modularized codebase. We also perform a variety of in-depth analyses, such as the comparison across different types of point feature, the necessity of the tailing upsampler in the generator, the reliance on the camera pose prior, etc., which deepen our understanding of existing methods and point out some further directions of the research work. We release code and models at https://github.com/qiuyu96/Carver to facilitate the development and evaluation of this field.
• Abstract（参考訳）: 3D画像合成の急速な進歩にもかかわらず、既存の研究は通常、テクニックとトリックの混合を採用しており、それぞれの部分が一般性において最終的なパフォーマンスにどのように貢献するかは明らかでない。 neural radiance field(nerf)をgan(generative adversarial network)のジェネレータに組み込んだこの分野で最もポピュラーで効果的なパラダイムに従って、私たちは、生成プロセスをモジュール化することで、carverと呼ばれるよく構造化されたコードベースを構築します。 このような設計により、研究者はそれぞれのモジュールを独立して開発し、置き換えることができるため、様々なアプローチを適切に比較し、モジュールの観点から貢献を認識する機会が得られる。 最先端のアルゴリズムの再現は、モジュール化されたコードベースの可用性を示しています。 また,様々な種類の点特性の比較,ジェネレータにおけるテーリングアップサンプラーの必要性,カメラの姿勢への依存度など,様々な詳細な分析を行い,既存の手法の理解を深め,研究の今後の方向性を指摘する。 私たちは、このフィールドの開発と評価を容易にするために、https://github.com/qiuyu96/Carverでコードとモデルをリリースします。

関連論文リスト

• Part-aware Shape Generation with Latent 3D Diffusion of Neural Voxel Fields [50.12118098874321]
  ニューラルボクセル場に対する潜在3次元拡散過程を導入し,高分解能で生成を可能にする。 部分符号を神経ボクセル場に統合し、正確な部分分解を導出するために、部分認識形状復号器を導入する。 その結果,既存の最先端手法よりも優れた部品認識形状生成において,提案手法の優れた生成能力を示した。
  論文  参考訳（メタデータ） (2024-05-02T04:31:17Z)
• Diverse Part Synthesis for 3D Shape Creation [5.203892715273396]
  部分ベース表現の形で3次元形状にニューラルネットワークを使用する手法は、ここ数年で導入されている。 現在の方法では、個々の形状部品をユーザの好みに応じて容易に再生することはできない。 ユーザが個別の部品に対して多種多様な提案を生成できるようにする技術について検討する。
  論文  参考訳（メタデータ） (2024-01-17T17:55:06Z)
• Human as Points: Explicit Point-based 3D Human Reconstruction from Single-view RGB Images [78.56114271538061]
  我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。 提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。 我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
  論文  参考訳（メタデータ） (2023-11-06T05:52:29Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Learning Modulated Transformation in GANs [69.95217723100413]
  生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。 挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-29T17:51:22Z)
• SDFEst: Categorical Pose and Shape Estimation of Objects from RGB-D using Signed Distance Fields [5.71097144710995]
  RGB-D画像からのオブジェクトのポーズと形状推定のためのモジュールパイプラインを提案する。 生成型形状モデルと新しいネットワークを統合して,単一または複数ビューからの6次元ポーズと形状推定を可能にする。 我々は、合成データと実データの両方に関するいくつかの実験において、最先端手法に対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2022-07-11T13:53:50Z)
• Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies [41.00383742615389]
  GAN(Generative Adversarial Networks)は、コンピュータビジョン、医学、自然言語処理など、さまざまなアプリケーション分野で非常に成功しています。 GANは、意味的に意味のあるサンプルを合成する複雑な分布を学習するための強力なモデルである。 本調査では,現時点の高速なGANの開発状況を踏まえ,画像合成の敵モデルに関する総合的なレビューを行う。
  論文  参考訳（メタデータ） (2020-12-26T13:30:42Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。