論文の概要: Interactive Control over Temporal Consistency while Stylizing Video Streams

• arxiv url: http://arxiv.org/abs/2301.00750v2
• Date: Thu, 29 Jun 2023 21:17:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 15:29:50.356478
• Title: Interactive Control over Temporal Consistency while Stylizing Video Streams
• Title（参考訳）: 映像ストリームのスタイライゼーションにおける時間的一貫性のインタラクティブ制御
• Authors: Sumit Shekhar, Max Reimann, Moritz Hilscher, Amir Semmo, J\"urgen D\"ollner, Matthias Trapp
• Abstract要約: 本稿では,ビデオストリームをフルHD解像度でリアルタイムにスタイリングし,インタラクティブな一貫性制御を実現する手法を提案する。 デスクトップシステム上で80FPSで動作するライト光フローネットワークを,十分な精度で開発する。
• 参考スコア（独自算出の注目度）: 1.4680035572775534
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Image stylization has seen significant advancement and widespread interest over the years, leading to the development of a multitude of techniques. Extending these stylization techniques, such as Neural Style Transfer (NST), to videos is often achieved by applying them on a per-frame basis. However, per-frame stylization usually lacks temporal consistency, expressed by undesirable flickering artifacts. Most of the existing approaches for enforcing temporal consistency suffer from one or more of the following drawbacks: They (1) are only suitable for a limited range of techniques, (2) do not support online processing as they require the complete video as input, (3) cannot provide consistency for the task of stylization, or (4) do not provide interactive consistency control. Domain-agnostic techniques for temporal consistency aim to eradicate flickering completely but typically disregard aesthetic aspects. For stylization tasks, however, consistency control is an essential requirement as a certain amount of flickering adds to the artistic look and feel. Moreover, making this control interactive is paramount from a usability perspective. To achieve the above requirements, we propose an approach that stylizes video streams in real-time at full HD resolutions while providing interactive consistency control. We develop a lite optical-flow network that operates at 80 FPS on desktop systems with sufficient accuracy. Further, we employ an adaptive combination of local and global consistency features and enable interactive selection between them. Objective and subjective evaluations demonstrate that our method is superior to state-of-the-art video consistency approaches.
• Abstract（参考訳）: 画像のスタイリゼーションは、長年にわたって顕著な進歩と幅広い関心を集め、様々な技術の発展につながった。 ニューラルスタイル転送(NST)のようなこれらのスタイル化テクニックをビデオに拡張することは、フレーム単位で適用することでしばしば達成される。 しかしながら、フレーム単位のスタイリングは通常、望ましくないフリックングアーティファクトによって表現される時間的一貫性を欠いている。 時間的一貫性を強制する既存のアプローチは,(1)限られた範囲の手法にのみ適しており,(2)入力として完全なビデオを必要とするため,(2)オンライン処理をサポートしない,(3)タイマライゼーションのタスクに対して一貫性を提供できない,(4)インタラクティブな一貫性制御を提供しない,といった欠点に悩まされている。 時間的一貫性のためのドメインに依存しない技術は、フリックを完全に根絶することを目的としている。 しかし、スタイリゼーションタスクでは、ある種のフリックが芸術的なルックアンドフィールに付加されるため、一貫性の制御は必須の要件である。 さらに、ユーザビリティの観点から、このコントロールをインタラクティブにすることが最重要である。 そこで本稿では,ビデオストリームをフルhd解像度でリアルタイムにスタイライゼーションし,インタラクティブな一貫性制御を実現する手法を提案する。 デスクトップシステム上で80FPSで動作するライト光フローネットワークを,十分な精度で開発する。 さらに,局所的およびグローバル的一貫性を適応的に組み合わせ,それらの相互選択を可能にする。 客観的および主観的評価は,本手法が最先端のビデオ一貫性アプローチよりも優れていることを示す。

関連論文リスト

• UniVST: A Unified Framework for Training-free Localized Video Style Transfer [66.69471376934034]
  ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-10-26T05:28:02Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Ada-VE: Training-Free Consistent Video Editing Using Adaptive Motion Prior [13.595032265551184]
  ビデオ間合成は、キャラクタ一貫性の維持、スムーズな時間遷移、高速動作時の視覚的品質の維持において大きな課題となる。 本稿では,冗長計算を選択的に削減する適応型動き誘導型クロスフレームアテンション機構を提案する。 これにより、同じ計算予算内でより多くのフレームにクロスフレームの注意を向けることができる。
  論文  参考訳（メタデータ） (2024-06-07T12:12:25Z)
• LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
  ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。 既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。 我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
  論文  参考訳（メタデータ） (2024-05-09T12:06:06Z)
• FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
  フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。 この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。 提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
  論文  参考訳（メタデータ） (2024-03-19T17:59:18Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• Exemplar-based Video Colorization with Long-term Spatiotemporal Dependency [10.223719035434586]
  外見に基づく映像のカラー化は、古い映画復元のような応用に欠かせない技術である。 本稿では,長期間の時間依存性を考慮したビデオカラー化フレームワークを提案する。 我々のモデルは、特に物体が大きく不規則に変化する場面において、よりカラフルでリアルで安定した結果を生み出すことができる。
  論文  参考訳（メタデータ） (2023-03-27T10:45:00Z)
• Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
  我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。 ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。 様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
  論文  参考訳（メタデータ） (2022-07-19T04:44:08Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。