論文の概要: StyleReiser: Stylizing Video With Reinforced Structure Guide
- arxiv url: http://arxiv.org/abs/2409.15341v1
- Date: Mon, 09 Sep 2024 21:09:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-30 06:32:05.132884
- Title: StyleReiser: Stylizing Video With Reinforced Structure Guide
- Title(参考訳): StyleReiser:強化構造ガイドで動画をスタイリング
- Authors: Radim Spetlik, David Futschik, Daniel Sykora,
- Abstract要約: StyleReiserは、与えられたスタイルをビデオシーケンス全体へ転送するサンプルベースのビデオスタイリング手法である。
提案手法は,所定のスタイルとの整合性を考慮し,対象映像列に現れる新しい構造要素への忠実性を維持する。
- 参考スコア(独自算出の注目度): 0.9285295512807729
- License:
- Abstract: We introduce StyleReiser, an example-based video stylization method that transfers style from a given keyframe to the entire video sequence while maintaining visual consistency even in distant frames where the scene structure may change significantly. Unlike previous keyframe-based methods, our approach considers consistency with the prescribed style and maintains fidelity to new structural elements appearing in the target video sequence. This combination can significantly improve the quality of the stylized sequence without the need to add more correction keyframes. We also demonstrate that our approach can notably enhance the output of text-driven video stylization methods by suppressing their structural instability and enabling the user to perform custom edits on the generated keyframes. Moreover, due to its capability to perform inference in real-time, our technique can also be applied in interactive scenarios, such as consistently stylized video calls, which are difficult to achieve using text-driven approaches.
- Abstract(参考訳): StyleReiserは,シーン構造が大きく変化する可能性のある遠隔フレームにおいても,視覚的整合性を保ちながら,所定のキーフレームからビデオシーケンス全体へスタイルを転送する例ベースのビデオスタイリング手法である。
従来のキーフレーム方式とは異なり,本手法は所定のスタイルとの整合性を考慮し,対象映像列に現れる新しい構造要素への忠実性を維持する。
この組み合わせは、修正キーフレームを追加することなく、スタイリングされたシーケンスの品質を大幅に向上させることができる。
また,本手法は,その構造的不安定さを抑え,ユーザが生成したキーフレーム上でカスタム編集を行うことで,テキスト駆動型ビデオスタイリング手法の出力を顕著に向上させることができることを示す。
さらに, リアルタイムに推論を行う能力により, テキスト駆動型アプローチでは実現が困難である一貫したタイマライズされたビデオ通話など, 対話的なシナリオにも適用することができる。
関連論文リスト
- Style Aligned Image Generation via Shared Attention [61.121465570763085]
本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。
拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。
本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
論文 参考訳(メタデータ) (2023-12-04T18:55:35Z) - StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter [78.75422651890776]
StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。
コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。
StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
論文 参考訳(メタデータ) (2023-12-01T03:53:21Z) - Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation [69.20173154096]
本研究では,2つの機能モジュールからなるフレームワーク,Motion Structure RetrievalとStructure-Guided Text-to-Video Synthesisを開発した。
最初のモジュールでは、オフザシェルフビデオ検索システムを活用し、動画深度をモーション構造として抽出する。
第2のモジュールに対しては、構造と文字を柔軟に制御する制御可能なビデオ生成モデルを提案する。
論文 参考訳(メタデータ) (2023-07-13T17:57:13Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳(メタデータ) (2023-06-13T17:52:23Z) - InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。
我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
論文 参考訳(メタデータ) (2023-05-21T03:28:13Z) - Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style
Transfer [13.098901971644656]
本稿では,Style-A-Video というゼロショットビデオスタイリング手法を提案する。
画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて、簡潔なテキスト制御ビデオスタイリングを実現する。
テストの結果,従来のソリューションよりも少ない使用量で,優れたコンテンツ保存とスタイリスティックな性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-09T14:03:27Z) - DiffStyler: Controllable Dual Diffusion for Text-Driven Image
Stylization [66.42741426640633]
DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。
本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
論文 参考訳(メタデータ) (2022-11-19T12:30:44Z) - Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。
フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2020-08-10T14:22:04Z) - Interactive Video Stylization Using Few-Shot Patch-Based Training [23.801384381295698]
提案手法は,少数の選択者から他の配列へスタイルを伝達する学習的手法である。
結果として得られるスタイル化は意味論的に意味があり、つまり、動く物体の特定の部分がアーティストの意図に従ってスタイル化される。
ユーザが選択した外観をペイントし、そのスタイルを既存の記録シーケンスやライブビデオストリームに転送する、様々なインタラクティブなシナリオにおいて、その実用性を実証する。
論文 参考訳(メタデータ) (2020-04-29T21:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。