論文の概要: GramGAN: Deep 3D Texture Synthesis From 2D Exemplars

• arxiv url: http://arxiv.org/abs/2006.16112v2
• Date: Tue, 30 Jun 2020 10:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 15:17:12.450027
• Title: GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
• Title（参考訳）: GramGAN:2Dエグゼクティブによる深部3Dテクスチャ合成
• Authors: Tiziano Portenier, Siavash Bigdeli, Orcun Goksel
• Abstract要約: 本稿では,2次元画像が与えられた無限の高品質な3次元テクスチャの生成を可能にする,新しいテクスチャ合成フレームワークを提案する。 自然テクスチャ合成の最近の進歩に触発されて、学習されたノイズ周波数を非線形に組み合わせてテクスチャを生成するために、ディープニューラルネットワークを訓練する。 そこで本研究では,スタイル転送と生成対向ネットワークの両方からアイデアを結合した新たな損失関数を提案する。
• 参考スコア（独自算出の注目度）: 7.553635339893189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel texture synthesis framework, enabling the generation of infinite, high-quality 3D textures given a 2D exemplar image. Inspired by recent advances in natural texture synthesis, we train deep neural models to generate textures by non-linearly combining learned noise frequencies. To achieve a highly realistic output conditioned on an exemplar patch, we propose a novel loss function that combines ideas from both style transfer and generative adversarial networks. In particular, we train the synthesis network to match the Gram matrices of deep features from a discriminator network. In addition, we propose two architectural concepts and an extrapolation strategy that significantly improve generalization performance. In particular, we inject both model input and condition into hidden network layers by learning to scale and bias hidden activations. Quantitative and qualitative evaluations on a diverse set of exemplars motivate our design decisions and show that our system performs superior to previous state of the art. Finally, we conduct a user study that confirms the benefits of our framework.
• Abstract（参考訳）: 2次元の模範画像が与えられた無限の高品質な3dテクスチャを生成できる新しいテクスチャ合成フレームワークを提案する。 近年の自然テクスチャ合成の進歩に触発されて,学習した雑音周波数を非線形に結合してテクスチャを生成するディープニューラルモデルを訓練した。 実例パッチに基づく高度に現実的な出力を実現するために,スタイル転送と生成的敵ネットワークの両方からアイデアを結合した新しい損失関数を提案する。 特に,識別器ネットワークからの深い特徴のグラム行列に適合するように合成ネットワークを訓練する。 さらに,一般化性能を大幅に向上させる2つのアーキテクチャ概念と外挿戦略を提案する。 特に、隠れネットワーク層にモデル入力と条件の両方を注入し、隠れたアクティベーションのスケールとバイアスを学習する。 多様な例の定量的・質的評価は、我々の設計決定を動機付け、我々のシステムが以前の技術よりも優れていることを示す。 最後に、我々のフレームワークの利点を確認するユーザスタディを実施します。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
  本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。 テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。 正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-10-10T10:59:04Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation [99.64565200170897]
  本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。 我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
  論文  参考訳（メタデータ） (2020-01-14T18:06:27Z)
• On Demand Solid Texture Synthesis Using Deep 3D Networks [3.1542695050861544]
  本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。 任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。 合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
  論文  参考訳（メタデータ） (2020-01-13T20:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。