Fugu-MT 論文翻訳(概要): Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter

論文の概要: Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter

arxiv url: http://arxiv.org/abs/2007.07243v1
Date: Tue, 14 Jul 2020 17:57:59 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 15:17:04.897260
Title: Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter
Title（参考訳）: Transposer:Feature Map を変換畳み込みフィルタとして用いたユニバーサルテクスチャ合成
Authors: Guilin Liu, Rohan Taori, Ting-Chun Wang, Zhiding Yu, Shiqiu Liu, Fitsum A. Reda, Karan Sapra, Andrew Tao, Bryan Catanzaro
Abstract要約: テクスチャ合成に変換畳み込み演算を用いる新しい手法を提案する。筆者らのフレームワークは,様々な指標に基づいて,最先端のテクスチャ合成品質を実現する。
参考スコア（独自算出の注目度）: 43.9258342767253
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional CNNs for texture synthesis consist of a sequence of (de)-convolution and up/down-sampling layers, where each layer operates locally and lacks the ability to capture the long-term structural dependency required by texture synthesis. Thus, they often simply enlarge the input texture, rather than perform reasonable synthesis. As a compromise, many recent methods sacrifice generalizability by training and testing on the same single (or fixed set of) texture image(s), resulting in huge re-training time costs for unseen images. In this work, based on the discovery that the assembling/stitching operation in traditional texture synthesis is analogous to a transposed convolution operation, we propose a novel way of using transposed convolution operation. Specifically, we directly treat the whole encoded feature map of the input texture as transposed convolution filters and the features' self-similarity map, which captures the auto-correlation information, as input to the transposed convolution. Such a design allows our framework, once trained, to be generalizable to perform synthesis of unseen textures with a single forward pass in nearly real-time. Our method achieves state-of-the-art texture synthesis quality based on various metrics. While self-similarity helps preserve the input textures' regular structural patterns, our framework can also take random noise maps for irregular input textures instead of self-similarity maps as transposed convolution inputs. It allows to get more diverse results as well as generate arbitrarily large texture outputs by directly sampling large noise maps in a single pass as well.
Abstract（参考訳）: テクスチャ合成のための従来のcnnは、(de)コンボリューションとアップ/ダウンサンプリングの一連の層で構成されており、各層はローカルに動作し、テクスチャ合成に必要な長期的な構造依存性を捉えることができない。したがって、彼らはしばしば合理的な合成を行うのではなく、単に入力テクスチャを拡大する。妥協として、近年の多くの手法は、同じ単一の(または固定された)テクスチャイメージ上でのトレーニングとテストによって一般化性を犠牲にしており、その結果、目に見えない画像に対して膨大な再トレーニング時間コストが生じる。本研究では,従来のテクスチャ合成における組立・ステーシング操作が,転置畳み込み操作と類似していることから,転置畳み込み操作を用いた新しい方法を提案する。具体的には, 入力テクスチャの符号化特徴マップ全体を変換畳み込みフィルタとして, 自己相関情報をキャプチャする特徴の自己相似性マップを変換畳み込みの入力として直接扱う。このような設計により、トレーニングされたフレームワークは、ほぼリアルタイムで単一のフォワードパスで、見えないテクスチャの合成を一般化することができます。本手法は,様々な指標に基づき,最先端のテクスチャ合成品質を実現する。自己相似性は入力テクスチャの規則的な構造パターンを保存するのに役立つが、我々のフレームワークは、自己相似性マップの代わりに不規則な入力テクスチャのためのランダムノイズマップを変換畳み込み入力として利用することもできる。より多様な結果を得ることができ、また、1回のパスで大きなノイズマップを直接サンプリングすることで、任意に大きなテクスチャ出力を生成することができる。

関連論文リスト

Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
論文参考訳（メタデータ） (2024-05-13T21:53:09Z)
Generating Non-Stationary Textures using Self-Rectification [70.91414475376698]
本稿では,実例に基づく非定常テクスチャ合成の課題に対処する。本稿では,ユーザが標準画像編集ツールを使用して参照テクスチャを初めて修正する,新しい2段階のアプローチを提案する。提案手法は「自己修正(self-rectification)」と呼ばれ、このターゲットを自動的にコヒーレントでシームレスなテクスチャに洗練する。
論文参考訳（メタデータ） (2024-01-05T15:07:05Z)
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。 Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文参考訳（メタデータ） (2023-12-18T17:17:08Z)
Lightweight texture transfer based on texture feature preset [1.1863107884314108]
テクスチャ特徴プリセットに基づく軽量なテクスチャ転送を提案する。結果は視覚的に優れた結果を示すが、モデルのサイズを3.2～3538倍に減らし、プロセスを1.8～5.6倍に高速化する。
論文参考訳（メタデータ） (2023-06-29T10:37:29Z)
Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis [2.8998926117101367]
ユニバーサルテクスチャ合成のための新しいU-Attention Vision Transformerを提案する。注意機構によって実現された自然の長距離依存性を利用して,多様なテクスチャを合成する手法を提案する。本研究では,グローバルな構造に参画し,様々なスケールでパッチマッピングを行う階層型時計バックボーンを提案する。
論文参考訳（メタデータ） (2022-02-23T18:58:56Z)
SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps [3.504542161036043]
単一入力例からタイル状テクスチャマップを自動生成できるSeamlessGANを提案する。合成問題にのみ焦点をあてた既存の方法とは対照的に,本研究は合成性とタイル性の両方に同時に取り組む。
論文参考訳（メタデータ） (2022-01-13T18:24:26Z)
FuseFormer: Fusing Fine-Grained Information in Transformers for Video Inpainting [77.8621673355983]
FuseFormerは,微細な機能融合による映像の塗布用に設計されたトランスフォーマーモデルである。本研究では,2次元構造をモデル化可能な1次元線形層を実現するために,ソフトコンポジションとソフトスプリットをフィードフォワードネットワークに精巧に挿入する。定量評価と定性評価の両方において,提案したFuseFormerは最先端の手法を超越している。
論文参考訳（メタデータ） (2021-09-07T10:13:29Z)
A Generative Model for Texture Synthesis based on Optimal Transport between Feature Distributions [8.102785819558978]
任意の大きさの新しいテクスチャをオンザフライで合成できるフィードフォワードニューラルネットワークを、我々のフレームワークを使って学習する方法を示す。我々のフレームワークを使ってフィードフォワードニューラルネットワークを学習し、任意のサイズの新しいテクスチャを高速に合成する方法を示します。
論文参考訳（メタデータ） (2020-06-19T13:32:55Z)
Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
論文参考訳（メタデータ） (2020-05-26T02:33:21Z)
Co-occurrence Based Texture Synthesis [25.4878061402506]
本稿では,共起統計に基づいて局所的に条件付けされた完全畳み込み生成対向ネットワークを提案し,任意に大きな画像を生成する。本手法はテクスチャ合成のための安定的で直感的で解釈可能な潜在表現を提供する。
論文参考訳（メタデータ） (2020-05-17T08:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。