論文の概要: Discrete Prior-based Temporal-coherent Content Prediction for Blind Face Video Restoration

• arxiv url: http://arxiv.org/abs/2501.09960v1
• Date: Fri, 17 Jan 2025 05:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:42.316988
• Title: Discrete Prior-based Temporal-coherent Content Prediction for Blind Face Video Restoration
• Title（参考訳）: ブラインド映像再生のための離散的事前ベース時間コヒーレントコンテンツ予測
• Authors: Lianxin Xie, Bingbing Zheng, Wen Xue, Yunfei Zhang, Le Jiang, Ruotao Xu, Si Wu, Hau-San Wong,
• Abstract要約: ブラインドフェイスビデオの復元は、複雑で未知の劣化を受けたビデオから高忠実度の詳細を復元することを目的としている。 本稿では,この課題に対処するために,離散先行型テンポラルコヒーレントコンテンツ予測変換器を提案する。
• 参考スコア（独自算出の注目度）: 18.808917370860208
• License:
• Abstract: Blind face video restoration aims to restore high-fidelity details from videos subjected to complex and unknown degradations. This task poses a significant challenge of managing temporal heterogeneity while at the same time maintaining stable face attributes. In this paper, we introduce a Discrete Prior-based Temporal-Coherent content prediction transformer to address the challenge, and our model is referred to as DP-TempCoh. Specifically, we incorporate a spatial-temporal-aware content prediction module to synthesize high-quality content from discrete visual priors, conditioned on degraded video tokens. To further enhance the temporal coherence of the predicted content, a motion statistics modulation module is designed to adjust the content, based on discrete motion priors in terms of cross-frame mean and variance. As a result, the statistics of the predicted content can match with that of real videos over time. By performing extensive experiments, we verify the effectiveness of the design elements and demonstrate the superior performance of our DP-TempCoh in both synthetically and naturally degraded video restoration.
• Abstract（参考訳）: ブラインドフェイスビデオの復元は、複雑で未知の劣化を受けたビデオから高忠実度の詳細を復元することを目的としている。 このタスクは、安定した顔属性を維持しながら、時間的不均一性を管理する重要な課題となる。 本稿では,この課題に対処するために,離散先行型テンポラルコヒーレントコンテンツ予測変換器を導入し,そのモデルをDP-TempCohと呼ぶ。 具体的には、劣化したビデオトークンを条件に、離散的な視覚的先行から高品質なコンテンツを合成するために、時空間対応コンテンツ予測モジュールを組み込んだ。 予測されたコンテンツの時間的コヒーレンスをさらに高めるため、クロスフレーム平均とばらつきの観点から、離散的な動き先行に基づいて、動き統計変調モジュールがコンテンツを調整するように設計されている。 結果として、予測されたコンテンツの統計は、時間とともに実際のビデオの統計と一致する。 広汎な実験を行うことで, 設計要素の有効性を検証し, ビデオ再生におけるDP-TempCohの優れた性能を示す。

関連論文リスト

• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)
• DisCoVQA: Temporal Distortion-Content Transformers for Video Quality Assessment [56.42140467085586]
  いくつかの時間的変動は時間的歪みを引き起こし、余分な品質劣化を引き起こす。 人間の視覚システムは、しばしば異なる内容のフレームに対して異なる注意を向ける。 本稿では, この2つの問題に対処するための, トランスフォーマーを用いたVQA手法を提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:31:27Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。