論文の概要: StyleReiser: Stylizing Video With Reinforced Structure Guide
- arxiv url: http://arxiv.org/abs/2409.15341v1
- Date: Mon, 7 Oct 2024 12:04:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 19:54:40.791180
- Title: StyleReiser: Stylizing Video With Reinforced Structure Guide
- Title（参考訳）: StyleReiser:強化構造ガイドで動画をスタイリング
- Authors: Radim Spetlik, David Futschik, Daniel Sykora,
- Abstract要約: StyleReiserは、与えられたスタイルをビデオシーケンス全体へ転送するサンプルベースのビデオスタイリング手法である。
提案手法は,所定のスタイルとの整合性を考慮し,対象映像列に現れる新しい構造要素への忠実性を維持する。
- 参考スコア（独自算出の注目度）: 0.9285295512807729
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce StyleReiser, an example-based video stylization method that transfers style from a given keyframe to the entire video sequence while maintaining visual consistency even in distant frames where the scene structure may change significantly. Unlike previous keyframe-based methods, our approach considers consistency with the prescribed style and maintains fidelity to new structural elements appearing in the target video sequence. This combination can significantly improve the quality of the stylized sequence without the need to add more correction keyframes. We also demonstrate that our approach can notably enhance the output of text-driven video stylization methods by suppressing their structural instability and enabling the user to perform custom edits on the generated keyframes. Moreover, due to its capability to perform inference in real-time, our technique can also be applied in interactive scenarios, such as consistently stylized video calls, which are difficult to achieve using text-driven approaches.
- Abstract（参考訳）: StyleReiserは,シーン構造が大きく変化する可能性のある遠隔フレームにおいても,視覚的整合性を保ちながら,所定のキーフレームからビデオシーケンス全体へスタイルを転送する例ベースのビデオスタイリング手法である。
従来のキーフレーム方式とは異なり,本手法は所定のスタイルとの整合性を考慮し,対象映像列に現れる新しい構造要素への忠実性を維持する。
この組み合わせは、修正キーフレームを追加することなく、スタイリングされたシーケンスの品質を大幅に向上させることができる。
また,本手法は,その構造的不安定さを抑え,ユーザが生成したキーフレーム上でカスタム編集を行うことで,テキスト駆動型ビデオスタイリング手法の出力を顕著に向上させることができることを示す。
さらに, リアルタイムに推論を行う能力により, テキスト駆動型アプローチでは実現が困難である一貫したタイマライズされたビデオ通話など, 対話的なシナリオにも適用することができる。
関連論文リスト
- RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives [58.15403987979496]
本稿では,RACCooNを提案する。
ビデオ生成モデルは、自動生成された物語や指示を取り入れて、生成されたコンテンツの質と精度を高める。
提案フレームワークは,ビデオ・パラグラフ生成,映像コンテンツ編集において優れた多機能性を示し,さらに拡張するために他のSoTAビデオ生成モデルに組み込むことができる。
論文 参考訳（メタデータ） (2024-05-28T17:46:36Z) - VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。
我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。
我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
論文 参考訳（メタデータ） (2024-01-04T18:59:24Z) - CCEdit: Creative and Controllable Video Editing via Diffusion Models [58.34886244442608]
CCEditは拡散モデルに基づく多用途な生成ビデオ編集フレームワークである。
我々のアプローチは、構造と外観制御を分離する新しいトリデントネットワーク構造を用いる。
ユーザスタディでは,CCEditと8つの最先端のビデオ編集手法を比較した。
論文 参考訳（メタデータ） (2023-09-28T15:03:44Z) - Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation [69.20173154096]
本研究では,2つの機能モジュールからなるフレームワーク,Motion Structure RetrievalとStructure-Guided Text-to-Video Synthesisを開発した。
最初のモジュールでは、オフザシェルフビデオ検索システムを活用し、動画深度をモーション構造として抽出する。
第2のモジュールに対しては、構造と文字を柔軟に制御する制御可能なビデオ生成モデルを提案する。
論文 参考訳（メタデータ） (2023-07-13T17:57:13Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳（メタデータ） (2023-06-13T17:52:23Z) - Structure and Content-Guided Video Synthesis with Diffusion Models [13.464501385061032]
所望の出力の視覚的あるいはテキスト的記述に基づいて映像を編集する構造とコンテンツ誘導ビデオ拡散モデルを提案する。
本モデルでは,新たなガイダンス手法により,時間的一貫性の明示的な制御を明らかにする画像と映像を共同で訓練する。
論文 参考訳（メタデータ） (2023-02-06T18:50:23Z) - Transcript to Video: Efficient Clip Sequencing from Texts [65.87890762420922]
Transcript-to-Video - テキストを入力として使用する弱教師付きフレームワークで、広範なショットコレクションからビデオシーケンスを自動的に生成する。
具体的には、視覚言語表現とモデルショットシークエンシングスタイルを学習するためのコンテンツ検索モジュールとテンポラルコヒーレントモジュールを提案する。
高速な推論のために,リアルタイムビデオクリップシークエンシングのための効率的な検索手法を提案する。
論文 参考訳（メタデータ） (2021-07-25T17:24:50Z) - Interactive Video Stylization Using Few-Shot Patch-Based Training [23.801384381295698]
提案手法は,少数の選択者から他の配列へスタイルを伝達する学習的手法である。
結果として得られるスタイル化は意味論的に意味があり、つまり、動く物体の特定の部分がアーティストの意図に従ってスタイル化される。
ユーザが選択した外観をペイントし、そのスタイルを既存の記録シーケンスやライブビデオストリームに転送する、様々なインタラクティブなシナリオにおいて、その実用性を実証する。
論文 参考訳（メタデータ） (2020-04-29T21:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。