論文の概要: A Generative Model for Texture Synthesis based on Optimal Transport between Feature Distributions

• arxiv url: http://arxiv.org/abs/2007.03408v2
• Date: Mon, 18 Oct 2021 15:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:29:42.283862
• Title: A Generative Model for Texture Synthesis based on Optimal Transport between Feature Distributions
• Title（参考訳）: 特徴分布間の最適移動に基づくテクスチャ合成のための生成モデル
• Authors: Antoine Houdard and Arthur Leclaire and Nicolas Papadakis and Julien Rabin
• Abstract要約: 任意の大きさの新しいテクスチャをオンザフライで合成できるフィードフォワードニューラルネットワークを、我々のフレームワークを使って学習する方法を示す。 我々のフレームワークを使ってフィードフォワードニューラルネットワークを学習し、任意のサイズの新しいテクスチャを高速に合成する方法を示します。
• 参考スコア（独自算出の注目度）: 8.102785819558978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose GOTEX, a general framework for texture synthesis by optimization that constrains the statistical distribution of local features. While our model encompasses several existing texture models, we focus on the case where the comparison between feature distributions relies on optimal transport distances. We show that the semi-dual formulation of optimal transport allows to control the distribution of various possible features, even if these features live in a high-dimensional space. We then study the resulting minimax optimization problem, which corresponds to a Wasserstein generative model, for which the inner concave maximization problem can be solved with standard stochastic gradient methods. The alternate optimization algorithm is shown to be versatile in terms of applications, features and architecture; in particular it allows to produce high-quality synthesized textures with different sets of features. We analyze the results obtained by constraining the distribution of patches or the distribution of responses to a pre-learned VGG neural network. We show that the patch representation can retrieve the desired textural aspect in a more precise manner. We also provide a detailed comparison with state-of-the-art texture synthesis methods. The GOTEX model based on patch features is also adapted to texture inpainting and texture interpolation. Finally, we show how to use our framework to learn a feed-forward neural network that can synthesize on-the-fly new textures of arbitrary size in a very fast manner. Experimental results and comparisons with the mainstream methods from the literature illustrate the relevance of the generative models learned with GOTEX.
• Abstract（参考訳）: 局所特徴量の統計分布を制限する最適化によるテクスチャ合成のための汎用フレームワークであるGOTEXを提案する。 本モデルは既存のテクスチャモデルを含むが,特徴分布の比較が最適輸送距離に依存する場合に焦点を当てる。 これらの特徴が高次元空間に存在しても, 最適輸送の半二重定式化により, 様々な特徴の分布を制御できることを示す。 次に, 内凹最大化問題を標準確率勾配法で解くことのできるwasserstein生成モデルに対応するミニマックス最適化問題について検討した。 代替最適化アルゴリズムは、アプリケーション、特徴、アーキテクチャの観点から多用途であることが示されており、特に、異なる特徴セットを持つ高品質な合成テクスチャを作成できる。 我々は、事前に学習したVGGニューラルネットワークに対するパッチの分布や応答の分布を制限した結果を分析する。 パッチ表現は、より正確な方法で所望のテクスチャアスペクトを検索可能であることを示す。 また,最先端テクスチャ合成法との比較を行った。 パッチ特徴に基づくGOTEXモデルは、テクスチャインペイントやテクスチャ補間にも適応する。 最後に,我々のフレームワークを用いてフィードフォワードニューラルネットワークを学習し,任意の大きさの新しいテクスチャを非常に高速に合成する方法を示す。 実験結果と本論文の主流手法との比較により, GOTEXで学習した生成モデルとの関連が示された。

関連論文リスト

• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis [17.920305227880245]
  本稿では, 近似解析を用いた三重視覚タスクを一貫した方法で定式化する。 実世界の画像で評価すると、従来のニューラルネットワークよりも、我々の分析バイシンセシスの方がはるかに堅牢であることが示される。
  論文  参考訳（メタデータ） (2023-05-31T18:45:02Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps [3.504542161036043]
  単一入力例からタイル状テクスチャマップを自動生成できるSeamlessGANを提案する。 合成問題にのみ焦点をあてた既存の方法とは対照的に,本研究は合成性とタイル性の両方に同時に取り組む。
  論文  参考訳（メタデータ） (2022-01-13T18:24:26Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Texture synthesis via projection onto multiscale, multilayer statistics [0.0]
  マルチスケール多層特徴抽出器に基づくテクスチャ合成の新しいモデルを提案する。 本稿では,本モデルで使用する異なる種類のウェーブレットフィルタの必要性と,画像合成における多層構造の有用性について説明する。
  論文  参考訳（メタデータ） (2021-05-22T23:32:34Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Texture Interpolation for Probing Visual Perception [4.637185817866918]
  テクスチャの深部畳み込みニューラルネットワーク(CNN)活性化の分布は楕円分布によってよく説明されている。 そこで我々は,任意のテクスチャ間を補間する最適な輸送距離を持つ自然測地学を提案する。 本手法は他のCNN手法と比較して,テクスチャ知覚の幾何学とより密に一致しているようである。
  論文  参考訳（メタデータ） (2020-06-05T21:28:36Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)
• Co-occurrence Based Texture Synthesis [25.4878061402506]
  本稿では,共起統計に基づいて局所的に条件付けされた完全畳み込み生成対向ネットワークを提案し,任意に大きな画像を生成する。 本手法はテクスチャ合成のための安定的で直感的で解釈可能な潜在表現を提供する。
  論文  参考訳（メタデータ） (2020-05-17T08:01:44Z)
• Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression [113.30411004622508]
  普遍的で協調的な視覚情報表現は階層的な方法で実現できることを示す。 ディープニューラルネットワークの強力な生成能力に基づいて、基本特徴層と強化層の間のギャップは、特徴レベルのテクスチャ再構築によってさらに埋められる。 提案するフレームワークの効率を改善するために,ベース層ニューラルネットワークをマルチタスクでトレーニングする。
  論文  参考訳（メタデータ） (2020-04-21T14:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。