論文の概要: Generating Infinite-Resolution Texture using GANs with Patch-by-Patch
Paradigm
- arxiv url: http://arxiv.org/abs/2309.02340v1
- Date: Tue, 5 Sep 2023 15:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 13:54:08.525092
- Title: Generating Infinite-Resolution Texture using GANs with Patch-by-Patch
Paradigm
- Title(参考訳): パッチバイパッチパラダイムによるganを用いた無限分解能テクスチャの生成
- Authors: Alhasan Abdellatif and Ahmed H. Elsheikh
- Abstract要約: GAN(Generative Adrial Networks)を用いた無限解像度のテクスチャ画像生成手法を提案する。
既存のテクスチャ合成技術は、しばしば、生成モデルへの一方向パスを用いた大規模なテクスチャの生成に依存している。
対照的に、提案手法では、単一のテクスチャイメージ上でGANモデルをトレーニングし、局所的に相関し、より大きな画像を形成するためにシームレスに反転できる比較的小さなパッチを生成する。
- 参考スコア(独自算出の注目度): 1.0878040851638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a novel approach for generating texture images of
infinite resolutions using Generative Adversarial Networks (GANs) based on a
patch-by-patch paradigm. Existing texture synthesis techniques often rely on
generating a large-scale texture using a one-forward pass to the generating
model, this limits the scalability and flexibility of the generated images. In
contrast, the proposed approach trains GANs models on a single texture image to
generate relatively small patches that are locally correlated and can be
seamlessly concatenated to form a larger image while using a constant GPU
memory footprint. Our method learns the local texture structure and is able to
generate arbitrary-size textures, while also maintaining coherence and
diversity. The proposed method relies on local padding in the generator to
ensure consistency between patches and utilizes spatial stochastic modulation
to allow for local variations and diversity within the large-scale image.
Experimental results demonstrate superior scalability compared to existing
approaches while maintaining visual coherence of generated textures.
- Abstract(参考訳): 本稿では,パッチ・バイ・パッチ・パラダイムに基づくGAN(Generative Adversarial Networks)を用いて,無限解像度のテクスチャ画像を生成する手法を提案する。
既存のテクスチャ合成技術では、生成モデルへのワンフォワードパスを使用して大規模なテクスチャを生成することが多いため、生成画像のスケーラビリティと柔軟性が制限される。
これとは対照的に、提案手法では、単一のテクスチャイメージ上のgansモデルをトレーニングして、ローカルに関連付けられ、シームレスに結合して大きなイメージを形成することができる比較的小さなパッチを生成する。
本手法は局所的なテクスチャ構造を学習し,任意のサイズのテクスチャを生成できると同時に,コヒーレンスや多様性も維持する。
提案手法は,パッチ間の一貫性を確保するためにジェネレータ内の局所パディングに依存し,空間的確率的変調を利用して大規模画像内の局所的な変動や多様性を実現する。
実験結果は,生成テクスチャの視覚的コヒーレンスを維持しつつ,既存のアプローチよりも優れたスケーラビリティを示す。
関連論文リスト
- Adaptive Patching for High-resolution Image Segmentation with Transformers [9.525013089622183]
注意に基づくモデルは、セグメンテーションを含む画像分析の領域で増加している。
トランスフォーマーエンコーダにイメージを供給する標準的な方法は、イメージをパッチに分割し、トークンの線形シーケンスとしてモデルにパッチを供給することである。
顕微鏡病理画像などの高解像度画像では、セグメンテーションで好まれる小さなパッチサイズを使用する場合、二次計算とメモリコストは注意に基づくモデルの使用を禁止している。
我々はHPCのAdapative Mesh Refinement(AMR)法から着想を得た。
論文 参考訳(メタデータ) (2024-04-15T12:06:00Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。
FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。
大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
論文 参考訳(メタデータ) (2022-07-18T07:11:28Z) - TGHop: An Explainable, Efficient and Lightweight Method for Texture
Generation [28.185787626054704]
この研究でTGHop(Texture Generation PixelHopの頭字語)が提案されている。
TGHopはモデルサイズが小さく、数学的に透明であり、トレーニングや推論で効率的であり、高品質なテクスチャを生成することができる。
実験結果から,TGHopはモデルサイズが小さく,高速で高品質なテクスチャ画像を生成することができることがわかった。
論文 参考訳(メタデータ) (2021-07-08T17:56:58Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳(メタデータ) (2021-05-15T22:05:46Z) - InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
任意の解像度画像を生成するinfinityganを提案する。
少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
論文 参考訳(メタデータ) (2021-04-08T17:59:30Z) - A Generative Model for Texture Synthesis based on Optimal Transport
between Feature Distributions [8.102785819558978]
任意の大きさの新しいテクスチャをオンザフライで合成できるフィードフォワードニューラルネットワークを、我々のフレームワークを使って学習する方法を示す。
我々のフレームワークを使ってフィードフォワードニューラルネットワークを学習し、任意のサイズの新しいテクスチャを高速に合成する方法を示します。
論文 参考訳(メタデータ) (2020-06-19T13:32:55Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。