論文の概要: Diffusion-based Holistic Texture Rectification and Synthesis

• arxiv url: http://arxiv.org/abs/2309.14759v1
• Date: Tue, 26 Sep 2023 08:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 14:36:36.651191
• Title: Diffusion-based Holistic Texture Rectification and Synthesis
• Title（参考訳）: 拡散に基づく総括的テクスチャの整流と合成
• Authors: Guoqing Hao, Satoshi Iizuka, Kensho Hara, Edgar Simo-Serra, Hirokatsu Kataoka, Kazuhiro Fukui
• Abstract要約: 伝統的なテクスチャ合成アプローチは、原始サンプルからテクスチャを生成することに重点を置いている。 自然画像中の劣化サンプルから全体的テクスチャを合成するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.144666226217062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel framework for rectifying occlusions and distortions in degraded texture samples from natural images. Traditional texture synthesis approaches focus on generating textures from pristine samples, which necessitate meticulous preparation by humans and are often unattainable in most natural images. These challenges stem from the frequent occlusions and distortions of texture samples in natural images due to obstructions and variations in object surface geometry. To address these issues, we propose a framework that synthesizes holistic textures from degraded samples in natural images, extending the applicability of exemplar-based texture synthesis techniques. Our framework utilizes a conditional Latent Diffusion Model (LDM) with a novel occlusion-aware latent transformer. This latent transformer not only effectively encodes texture features from partially-observed samples necessary for the generation process of the LDM, but also explicitly captures long-range dependencies in samples with large occlusions. To train our model, we introduce a method for generating synthetic data by applying geometric transformations and free-form mask generation to clean textures. Experimental results demonstrate that our framework significantly outperforms existing methods both quantitatively and quantitatively. Furthermore, we conduct comprehensive ablation studies to validate the different components of our proposed framework. Results are corroborated by a perceptual user study which highlights the efficiency of our proposed approach.
• Abstract（参考訳）: 自然画像から劣化したテクスチャサンプルの閉塞や歪みを補正する新しい枠組みを提案する。 従来のテクスチャ合成アプローチは、人間の細心の注意を要するプリスタンサンプルからテクスチャを生成することに重点を置いており、ほとんどの自然画像では達成できないことが多い。 これらの課題は、自然画像におけるテクスチャサンプルの頻繁な閉塞と歪みが、物体表面形状の障害や変化に起因するものである。 そこで本研究では, 自然画像中の劣化試料から総合的なテクスチャを合成する枠組みを提案し, 例題ベースのテクスチャ合成手法の適用性を拡張する。 本フレームワークは,新しいオクルージョン対応潜伏変圧器を備えた条件付き潜伏拡散モデル(LDM)を利用する。 この潜水変圧器は, LDMの生成過程に必要な部分観察試料のテクスチャ特性を効果的に符号化するだけでなく, 大きな閉塞を有する試料の長距離依存性を明示的に捕捉する。 本研究では,テクスチャの清浄化に幾何変換と自由形マスク生成を適用して合成データを生成する手法を提案する。 実験の結果, 既存の手法を定量的に, 定量的に上回った。 さらに,提案フレームワークの異なるコンポーネントを検証するため,包括的なアブレーション研究を行っている。 結果は,提案手法の有効性を強調する知覚的ユーザ調査によって裏付けられる。

関連論文リスト

• Learning Relighting and Intrinsic Decomposition in Neural Radiance Fields [21.057216351934688]
  本研究は,リライティングと本質的な分解を併用する手法を提案する。 シーン内の光の変動を利用して擬似ラベルを生成することにより、本手法は本質的な分解のガイダンスを提供する。 提案手法は,実世界の合成データセットと実世界のデータセットの両方で検証し,有望な結果を得た。
  論文  参考訳（メタデータ） (2024-06-16T21:10:37Z)
• Generating Non-Stationary Textures using Self-Rectification [70.91414475376698]
  本稿では,実例に基づく非定常テクスチャ合成の課題に対処する。 本稿では,ユーザが標準画像編集ツールを使用して参照テクスチャを初めて修正する,新しい2段階のアプローチを提案する。 提案手法は「自己修正(self-rectification)」と呼ばれ、このターゲットを自動的にコヒーレントでシームレスなテクスチャに洗練する。
  論文  参考訳（メタデータ） (2024-01-05T15:07:05Z)
• RANRAC: Robust Neural Scene Representations via Random Ray Consensus [12.161889666145127]
  RANRAC(RANdom RAy Consensus)は、一貫性のないデータの影響を排除するための効率的な手法である。 我々はRANSACパラダイムのファジィ適応を定式化し、大規模モデルへの適用を可能にした。 その結果, 新規な視点合成のための最先端のロバストな手法と比較して, 顕著な改善が見られた。
  論文  参考訳（メタデータ） (2023-12-15T13:33:09Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps [3.504542161036043]
  単一入力例からタイル状テクスチャマップを自動生成できるSeamlessGANを提案する。 合成問題にのみ焦点をあてた既存の方法とは対照的に,本研究は合成性とタイル性の両方に同時に取り組む。
  論文  参考訳（メタデータ） (2022-01-13T18:24:26Z)
• 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
  単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。 また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
  論文  参考訳（メタデータ） (2021-09-06T16:00:20Z)
• NITES: A Non-Parametric Interpretable Texture Synthesis Method [41.13585191073405]
  本研究では,NITES法と呼ばれる非パラメトリック解釈可能なテクスチャ合成法を提案する。 NITESは数学的に透明で、訓練や推論において効率的である。
  論文  参考訳（メタデータ） (2020-09-02T22:52:44Z)
• CNN Detection of GAN-Generated Face Images based on Cross-Band Co-occurrences Analysis [34.41021278275805]
  最終世代のGANモデルでは、自然と視覚的に区別できない合成画像を生成することができる。 本稿では、スペクトル帯域間の不整合を利用して、自然画像とGAN生成物を区別する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-25T10:55:04Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。