論文の概要: Continuous Facial Motion Deblurring

• arxiv url: http://arxiv.org/abs/2207.06626v1
• Date: Thu, 14 Jul 2022 02:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 13:35:41.294779
• Title: Continuous Facial Motion Deblurring
• Title（参考訳）: 連続的顔面運動障害
• Authors: Tae Bok Lee, Sujy Han, Yong Seok Heo
• Abstract要約: GAN(CFMD-GAN)に基づく連続的顔動作劣化ネットワークを提案する。 ネットワークトレーニングを安定させるために、私たちはジェネレータを訓練し、顔の動きに基づく並べ替えプロセスによって決定された順序で連続的なモーメントを復元する。 300VWデータセットの実験では、モーメント制御係数を変化させることで、提案するフレームワークが様々な連続的な出力フレームを生成することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a novel framework for continuous facial motion deblurring that restores the continuous sharp moment latent in a single motion-blurred face image via a moment control factor. Although a motion-blurred image is the accumulated signal of continuous sharp moments during the exposure time, most existing single image deblurring approaches aim to restore a fixed number of frames using multiple networks and training stages. To address this problem, we propose a continuous facial motion deblurring network based on GAN (CFMD-GAN), which is a novel framework for restoring the continuous moment latent in a single motion-blurred face image with a single network and a single training stage. To stabilize the network training, we train the generator to restore continuous moments in the order determined by our facial motion-based reordering process (FMR) utilizing domain-specific knowledge of the face. Moreover, we propose an auxiliary regressor that helps our generator produce more accurate images by estimating continuous sharp moments. Furthermore, we introduce a control-adaptive (ContAda) block that performs spatially deformable convolution and channel-wise attention as a function of the control factor. Extensive experiments on the 300VW datasets demonstrate that the proposed framework generates a various number of continuous output frames by varying the moment control factor. Compared with the recent single-to-single image deblurring networks trained with the same 300VW training set, the proposed method show the superior performance in restoring the central sharp frame in terms of perceptual metrics, including LPIPS, FID and Arcface identity distance. The proposed method outperforms the existing single-to-video deblurring method for both qualitative and quantitative comparisons.
• Abstract（参考訳）: 本稿では,連続的な顔の動きの遅延を,モーメント制御因子を介して単一の顔画像で再現する,連続的な顔の動きの遅延を再現する新しい枠組みを提案する。 動きブル画像は露光時間中に連続的なシャープモーメントの蓄積信号であるが、既存のほとんどの単一画像ブルリングアプローチは、複数のネットワークとトレーニング段階を用いて固定数のフレームを復元することを目的としている。 この問題に対処するために,1つのネットワークと1つのトレーニング段階を有する単一動画像における連続モーメント遅延を復元するための新しいフレームワークであるGAN(CFMD-GAN)に基づく連続顔動作遅延ネットワークを提案する。 ネットワークトレーニングを安定させるために,顔のドメイン固有の知識を利用して,顔の動きに基づく並べ替えプロセス(FMR)によって決定される順序で連続的なモーメントを復元するように,ジェネレータを訓練する。 さらに,連続的な鋭いモーメントを推定することで,より正確な画像を生成する補助レグレッサーを提案する。 さらに,制御因子として空間的に変形可能な畳み込みとチャネル回りの注意を行う制御適応型(contada)ブロックを導入する。 300VWデータセットの大規模な実験により、提案フレームワークはモーメント制御係数を変化させることで、様々な連続的な出力フレームを生成することを示した。 同一の300vwトレーニングセットでトレーニングしたsingle-to-single image deblurling networkと比較すると,lpips,fid,arcface identity distanceなどの知覚指標において,中心シャープフレームの復元性能が高かった。 提案手法は, 質的および定量的比較において, 既存の1対ビデオデブラリング法を上回っている。

関連論文リスト

• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
  インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
  論文  参考訳（メタデータ） (2023-04-05T18:44:17Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation [12.744989551644744]
  本稿では,効率的なシングルイメージダイナミックシーンブラインドブルのための制約付き変形可能な畳み込みネットワーク(CDCN)を提案する。 CDCNは、高精度な空間変動運動ぼかしカーネル推定と高品質な画像復元を同時に達成する。
  論文  参考訳（メタデータ） (2022-08-23T03:28:21Z)
• Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild [19.5702895176141]
  本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。 我々はCNNを用いて各フレームを視覚的特徴系列に変換する。 実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
  論文  参考訳（メタデータ） (2022-05-10T08:47:15Z)
• SL-CycleGAN: Blind Motion Deblurring in Cycles using Sparse Learning [3.6828576285640353]
  本稿では,単一画像視覚障害者のためのスパース学習に基づくGAN(End-to-end Generative Adversarial Network)を提案する。 視覚障害者にとって初めて、スパース畳み込み層とトレーニング可能な空間プーラk-ウィンナーの組み合わせとしてスパースResNetブロックを提案する。 我々は、GoProデータセット上で38.087dBのPSNRを記録破りに達成し、最新のデブロアリング法よりも5.377dBのPSNRを実現した。
  論文  参考訳（メタデータ） (2021-11-07T07:42:22Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
  自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。 自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
  論文  参考訳（メタデータ） (2021-05-05T17:49:55Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing [9.435020319411311]
  対面防止は, 提示攻撃による侵入を避けることにより, 顔認識システムのセキュリティに不可欠である。 従来の研究は、この課題に深度と時間的監督を用いることの有効性を示した。 本稿では, 頻繁, 空間的, 時間的情報を同時に活用する顔アンチスプーフィングのための新しい2つのストリームFreqSaptialTemporalNetを提案する。
  論文  参考訳（メタデータ） (2020-01-20T06:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。