論文の概要: ICDaeLST: Intensity-Controllable Detail Attention-enhanced for Lightweight Fast Style Transfer

• arxiv url: http://arxiv.org/abs/2306.16846v1
• Date: Thu, 29 Jun 2023 10:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:48:05.446972
• Title: ICDaeLST: Intensity-Controllable Detail Attention-enhanced for Lightweight Fast Style Transfer
• Title（参考訳）: ICDaeLST:軽量高速移動用インテンシティ制御型詳細注意強調装置
• Authors: Jiang Shi Qi
• Abstract要約: ICDaeLST と呼ばれる細部注意強調機能を備えた軽量かつ高速なスタイルトランスファーモデルを提案する。 このモデルは最小限の、浅い、小さなアーキテクチャを採用し、効率的なフォワード推論のための非常にコンパクトな軽量モデルを形成する。 現在の最高のパフォーマンスと軽量なモデルと比較して、我々のモデルはより優れたスタイル転送品質とより良いコンテンツ構造と詳細保持を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The mainstream style transfer methods usually use pre-trained deep convolutional neural network (VGG) models as encoders, or use more complex model structures to achieve better style transfer effects. This leads to extremely slow processing speeds for practical tasks due to limited resources or higher resolution image processing, such as 4K images, severely hindering the practical application value of style transfer models. We introduce a lightweight and fast styletransfer model with controllable detail attention enhancement, named ICDaeLST. The model adopts a minimal, shallow, and small architecture, forming a very compact lightweight model for efficient forward inference. Although its structure is simple and has limited parameters, we achieve better overall color and texture structure matching by introducing a style discriminator, design additional global semantic invariance loss to preserve the semantic and structural information of the content image from a high-level global perspective, and design a shallow detail attention enhancement module to preserve the detail information of the content image from a low-level detail perspective. We also achieve controllable intensity during inference for the first time (adjusting the degree of detail retention and texture structure transfer based on subjective judgment) to meet different users' subjective evaluation of stylization effects. Compared with the current best-performing and most lightweight models, our model achieves better style transfer quality and better content structure and detail retention, while having a smaller model size (17-250 times smaller) and faster speed (0.26-6.5 times faster), and achieves the fastest processing speed of 0.38s on 4K high-resolution images.
• Abstract（参考訳）: 主流のスタイル転送法は通常、訓練済みの深層畳み込みニューラルネットワーク(VGG)モデルをエンコーダとして使用するか、より複雑なモデル構造を使用してより優れたスタイル転送効果を達成する。 これにより、限られたリソースや4K画像などの高解像度画像処理により、実用的なタスクの処理速度が極めて遅くなり、スタイル転送モデルの実用的価値が著しく損なわれる。 ICDaeLST と呼ばれる細部注意強調機能を備えた軽量かつ高速なスタイルトランスファーモデルを提案する。 このモデルは最小で浅く、小さなアーキテクチャを採用し、効率的な前方推論のために非常にコンパクトな軽量モデルを形成する。 その構造は単純でパラメータは限られているが、スタイル判別器を導入し、高レベルなグローバル視点からコンテンツ画像の意味的および構造的情報を保存し、低レベルな視点からコンテンツ画像の詳細な情報を保存するための浅い細部注意強調モジュールを設計することにより、全体的な色とテクスチャの構造マッチングが向上する。 また,初回推論時の制御可能な強度(主観的判断に基づく細部保持とテクスチャ構造伝達の程度を調整)を実現し,ユーザの主観的スタイライゼーション効果評価を満足させる。 現在の最高の性能と軽量なモデルと比較して、モデルサイズが17～250倍小さく、速度が0.26～6.5倍で、4K高解像度画像の処理速度が0.38秒高速であるのに対し、より優れたスタイル転送品質とコンテンツ構造と詳細保持を実現する。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images [56.63824638417697]
  ファブリックディフュージョン(FabricDiffusion)は、織物のテクスチャを1枚の衣服画像から任意の形状の3D衣服に転送する方法である。 FabricDiffusionは、テクスチャパターン、材料特性、詳細な印刷物やロゴを含む、単一の衣料品画像から様々な特徴を伝達できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:12Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
  Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。 Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する 我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
  論文  参考訳（メタデータ） (2023-12-18T17:17:08Z)
• Color and Texture Dual Pipeline Lightweight Style Transfer [1.1863107884314108]
  スタイル伝達法は通常、参照スタイルのための色とテクスチャの結合の単一のスタイル化された出力を生成する。 色とテクスチャの転送結果の同時出力に2重パイプライン方式を用いるカラー・テクスチャ二重パイプライン方式のライトウェイト転送CTDP法を提案する。 比較実験では、CTDPが生成した色とテクスチャの伝達結果はどちらも最先端の性能を達成している。
  論文  参考訳（メタデータ） (2023-10-02T16:29:49Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。