論文の概要: Dynamic Texture Transfer using PatchMatch and Transformers

• arxiv url: http://arxiv.org/abs/2402.00606v1
• Date: Thu, 1 Feb 2024 13:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:12:06.914044
• Title: Dynamic Texture Transfer using PatchMatch and Transformers
• Title（参考訳）: PatchMatchとTransformerを用いた動的テクスチャ転送
• Authors: Guo Pu, Shiyao Xu, Xixin Cao, Zhouhui Lian
• Abstract要約: 本稿では,PatchMatch と Transformer を併用した,シンプルかつ効果的なモデルによる動的テクスチャ伝達処理を提案する。 鍵となる考え方は、動的テクスチャ転送のタスクを2つのステージに分解し、ターゲットビデオの開始フレームを所望の動的テクスチャで合成することである。 第2段階では、合成画像を構造に依存しないパッチに分解し、それに対応するパッチを予測する。
• 参考スコア（独自算出の注目度）: 18.54386654063111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to automatically transfer the dynamic texture of a given video to the target still image is a challenging and ongoing problem. In this paper, we propose to handle this task via a simple yet effective model that utilizes both PatchMatch and Transformers. The key idea is to decompose the task of dynamic texture transfer into two stages, where the start frame of the target video with the desired dynamic texture is synthesized in the first stage via a distance map guided texture transfer module based on the PatchMatch algorithm. Then, in the second stage, the synthesized image is decomposed into structure-agnostic patches, according to which their corresponding subsequent patches can be predicted by exploiting the powerful capability of Transformers equipped with VQ-VAE for processing long discrete sequences. After getting all those patches, we apply a Gaussian weighted average merging strategy to smoothly assemble them into each frame of the target stylized video. Experimental results demonstrate the effectiveness and superiority of the proposed method in dynamic texture transfer compared to the state of the art.
• Abstract（参考訳）: ビデオのダイナミックなテクスチャをターゲットの静止画像に自動的に転送する方法は、難しい問題であり、進行中の課題である。 本稿では,PatchMatch と Transformer を併用した,シンプルながら効果的なモデルによる処理を提案する。 鍵となるアイデアは、動的テクスチャ転送のタスクを2つのステージに分解することであり、そこでは、PatchMatchアルゴリズムに基づく距離マップ誘導テクスチャ転送モジュールを介して、所望のダイナミックテクスチャによるターゲットビデオの開始フレームを第1ステージで合成する。 そして、第2段階では、合成画像を構造に依存しないパッチに分解し、それに対応するパッチを、長い離散シーケンスを処理するためにVQ-VAEを備えたトランスフォーマーの強力な能力を利用して予測する。 これらのパッチを全て取得した後、ターゲットのスタイリングされたビデオの各フレームに、ガウス平均マージ戦略をスムーズに組み込む。 動的テクスチャ伝達における提案手法の有効性と優位性を示す実験結果を得た。

関連論文リスト

• Patch Is Not All You Need [57.290256181083016]
  本稿では,画像の変換を適応的に変換する新しいパターン変換器を提案する。 我々は畳み込みニューラルネットワークを用いて入力画像から様々なパターンを抽出する。 我々は,CIFAR-10とCIFAR-100で最先端のパフォーマンスを達成し,ImageNet上での競合的な結果を得た。
  論文  参考訳（メタデータ） (2023-08-21T13:54:00Z)
• Dual-path Adaptation from Image to Video Transformers [62.056751480114784]
  ViTやSwinのような視覚基盤モデルの超越する表現力を、トレーニング可能なパラメータ数だけでビデオ理解するために効率的に転送する。 本稿では,空間的および時間的適応経路に分離した新しいDualPath適応法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T09:37:07Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• Modeling Image Composition for Complex Scene Generation [77.10533862854706]
  本稿では,レイアウト・ツー・イメージ生成タスクにおける最先端結果を実現する手法を提案する。 本稿では,RGB画像をパッチトークンに圧縮した後,オブジェクト・トゥ・オブジェクト,オブジェクト・トゥ・パッチ,パッチ・トゥ・パッチの依存関係を探索するTransformer with Focal Attention (TwFA)を提案する。
  論文  参考訳（メタデータ） (2022-06-02T08:34:25Z)
• FuseFormer: Fusing Fine-Grained Information in Transformers for Video Inpainting [77.8621673355983]
  FuseFormerは,微細な機能融合による映像の塗布用に設計されたトランスフォーマーモデルである。 本研究では,2次元構造をモデル化可能な1次元線形層を実現するために,ソフトコンポジションとソフトスプリットをフィードフォワードネットワークに精巧に挿入する。 定量評価と定性評価の両方において,提案したFuseFormerは最先端の手法を超越している。
  論文  参考訳（メタデータ） (2021-09-07T10:13:29Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• SieveNet: A Unified Framework for Robust Image-Based Virtual Try-On [14.198545992098309]
  SieveNetは、堅牢なイメージベースの仮想トライオンのためのフレームワークである。 細粒度精度をモデル化する多段粗いワープネットワークを提案する。 また,テクスチャ伝達ネットワークを改善するために,試着型布条件セグメンテーションマスクを導入する。
  論文  参考訳（メタデータ） (2020-01-17T12:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。