論文の概要: UniVST: A Unified Framework for Training-free Localized Video Style Transfer

• arxiv url: http://arxiv.org/abs/2410.20084v1
• Date: Sat, 26 Oct 2024 05:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:49.017652
• Title: UniVST: A Unified Framework for Training-free Localized Video Style Transfer
• Title（参考訳）: UniVST: トレーニング不要なローカライズドビデオスタイル転送のための統一フレームワーク
• Authors: Quanjian Song, Mingbao Lin, Wengyi Zhan, Shuicheng Yan, Liujuan Cao,
• Abstract要約: ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
• 参考スコア（独自算出の注目度）: 66.69471376934034
• License:
• Abstract: This paper presents UniVST, a unified framework for localized video style transfer. It operates without the need for training, offering a distinct advantage over existing methods that transfer style across entire videos. The endeavors of this paper comprise: (1) A point-matching mask propagation strategy that leverages feature maps from the DDIM inversion. This streamlines the model's architecture by obviating the need for tracking models. (2) An AdaIN-guided style transfer mechanism that operates at both the latent and attention levels. This balances content fidelity and style richness, mitigating the loss of localized details commonly associated with direct video stylization. (3) A sliding window smoothing strategy that harnesses optical flow within the pixel representation and refines predicted noise to update the latent space. This significantly enhances temporal consistency and diminishes artifacts in video outputs. Our proposed UniVST has been validated to be superior to existing methods in quantitative and qualitative metrics. It adeptly addresses the challenges of preserving the primary object's style while ensuring temporal consistency and detail preservation.
• Abstract（参考訳）: ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。 本研究は,(1)DDIMのインバージョンから特徴マップを利用する点マッチングマスク伝搬戦略について述べる。 これにより、追跡モデルの必要性を回避し、モデルのアーキテクチャを合理化する。 2)潜在レベルと注意レベルの両方で動作するAdaIN誘導型転送機構。 これはコンテンツの忠実さとスタイルの豊かさのバランスを保ち、直接ビデオスタイリングに関連する局所的な詳細が失われることを緩和する。 (3) 画素表現内の光フローを利用したスライディングウインドウスムースティング手法により, 予測ノイズを補正し, 潜時空間を更新する。 これにより、時間的一貫性が大幅に向上し、ビデオ出力のアーティファクトが減少する。 提案したUniVSTは,定量および定性的メトリクスの既存手法よりも優れていることが検証された。 これは、時間的一貫性と詳細な保存を確保しながら、プライマリオブジェクトのスタイルを保存するという課題に十分に対処する。

関連論文リスト

• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Make-Your-Anchor: A Diffusion-based 2D Avatar Generation Framework [33.46782517803435]
  Make-Your-Anchorは、トレーニングのために個人の1分間のビデオクリップだけを必要とするシステムである。 入力ビデオ上に構造誘導拡散モデルを用いて3次元メッシュ条件を人間の外見に表現する。 出力ビデオにおける顔領域の視覚的品質を改善するために、新しい識別特異的顔強調モジュールが導入された。
  論文  参考訳（メタデータ） (2024-03-25T07:54:18Z)
• Diffusion-based Human Motion Style Transfer with Semantic Guidance [23.600154466988073]
  拡散モデルに基づく数ショットスタイルのトランスファー学習のための新しいフレームワークを提案する。 第1段階では,拡散に基づくテキスト・ツー・モーション・モデルを生成前として事前学習する。 第2段階では、単一スタイルの例に基づいて、事前学習した拡散モデルを数ショットで微調整し、スタイル転送を可能にする。
  論文  参考訳（メタデータ） (2024-03-20T05:52:11Z)
• HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced Diffusion Models [84.12784265734238]
  Arbitrary Style Transfer (AST)の目標は、あるスタイル参照の芸術的特徴を所定の画像/ビデオに注入することである。 各種のセマンティックな手がかりに基づいてスタイリング結果を明示的にカスタマイズできるHiCASTを提案する。 新たな学習目標をビデオ拡散モデルトレーニングに活用し,フレーム間の時間的一貫性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-01-11T12:26:23Z)
• Two Birds, One Stone: A Unified Framework for Joint Learning of Image and Video Style Transfers [14.057935237805982]
  現在の任意のスタイル転送モデルは、画像ドメインまたはビデオドメインに限られている。 画像とビデオの両方のための統一スタイル転送フレームワークUniSTを紹介する。 両タスクの最先端アプローチに対して,UniSTが好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-04-22T07:15:49Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer [58.020470877242865]
  我々は,芸術的,写真的,映像的スタイルのトランスファーを共同で行うことができる汎用的なスタイルトランスファー手法を考案した。 我々は,グローバル不整合が局所的不整合に支配されているという軽度かつ合理的な仮定を定め,局所的パッチに適用した汎用的コントラストコヒーレンス保存損失(CCPL)を考案する。 CCPLは、スタイル化を低下させることなく、スタイル転送中のコンテンツソースのコヒーレンスを保存することができる。
  論文  参考訳（メタデータ） (2022-07-11T12:09:41Z)
• Arbitrary Video Style Transfer via Multi-Channel Correlation [84.75377967652753]
  本稿では,マルチチャネル補正ネットワーク(MCCNet)を提案する。 MCCNetは、スタイルとコンテンツドメインの機能空間で直接動作する。 MCCが生成した出力は所望のスタイルパターンを含む特徴であり、鮮やかなスタイルのテクスチャでさらに画像にデコードできる。
  論文  参考訳（メタデータ） (2020-09-17T01:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。