論文の概要: Kalman-Inspired Feature Propagation for Video Face Super-Resolution
- arxiv url: http://arxiv.org/abs/2408.05205v1
- Date: Fri, 9 Aug 2024 17:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:05:23.668837
- Title: Kalman-Inspired Feature Propagation for Video Face Super-Resolution
- Title（参考訳）: Kalman-Inspireed Feature Propagation for Video Face Super-Resolution (特集:スーパーリゾリューション)
- Authors: Ruicheng Feng, Chongyi Li, Chen Change Loy,
- Abstract要約: 時間前に安定した顔を維持するための新しい枠組みを導入する。
カルマンフィルタの原理は,従来の復元フレームからの情報を用いて,現在のフレームの復元過程をガイドし,調整することができる。
ビデオフレーム間で顔の細部を連続的にキャプチャする手法の有効性を実験により実証した。
- 参考スコア（独自算出の注目度）: 78.84881180336744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.
- Abstract（参考訳）: 顔画像の超高解像度化が期待できる進歩にもかかわらず、ビデオ顔の超高解像度化はいまだに未発見のままである。
既存のアプローチでは、一般的なビデオ超解像ネットワークをデータセットに適応させるか、確立された顔画像超解像モデルを個々のビデオフレームに独立して適用する。
これらのパラダイムは、顔の詳細を再構築したり、時間的一貫性を維持する際の課題に直面する。
これらの問題に対処するために、我々はKalman-inspired Feature Propagation (KEEP)と呼ばれる新しいフレームワークを紹介します。
カルマンフィルタの原理は,従来の復元フレームからの情報を用いて,現在のフレームの復元過程をガイドし,調整することができる。
広汎な実験により,映像フレーム全体にわたって顔の細部を連続的にキャプチャする手法の有効性が実証された。
コードとビデオのデモはhttps://jnjaby.github.io/projects/KEEPで公開されている。
関連論文リスト
- Analysis and Benchmarking of Extending Blind Face Image Restoration to Videos [99.42805906884499]
まず,実世界の低品質顔画像ベンチマーク(RFV-LQ)を導入し,画像に基づく顔復元アルゴリズムの評価を行った。
次に、失明顔画像復元アルゴリズムを劣化顔ビデオに拡張する際の利点と課題を網羅的に分析する。
分析では、主に顔成分の顕著なジッタとフレーム間のノイズシェープの2つの側面に分類する。
論文 参考訳（メタデータ） (2024-10-15T17:53:25Z) - StyleFaceV: Face Video Generation via Decomposing and Recomposing
Pretrained StyleGAN3 [43.43545400625567]
そこで我々は,鮮明な動きを持つ高忠実度ID保存顔ビデオを生成するStyleFaceVというフレームワークを提案する。
我々の中核となる洞察は、外観を分解し、情報を合成し、それらをStyleGAN3の潜在空間に再分解することで、安定的でダイナミックな結果を生み出すことである。
論文 参考訳（メタデータ） (2022-08-16T17:47:03Z) - Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。
従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。
対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
論文 参考訳（メタデータ） (2021-08-25T05:12:14Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2021-08-12T10:35:22Z) - Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。
本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-22T16:19:20Z) - Neural Alignment for Face De-pixelization [46.57077539961045]
顔画像から高解像度映像を再構成する簡単な方法を提案する。
実験では、オリジナルビデオのかなり良い近似を匿名性を損なう方法で再構成できることを示しました。
論文 参考訳（メタデータ） (2020-09-29T08:29:15Z) - Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2020-07-03T02:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。