論文の概要: Spatio-Temporal Deformable Attention Network for Video Deblurring

• arxiv url: http://arxiv.org/abs/2207.10852v1
• Date: Fri, 22 Jul 2022 03:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 12:55:00.233579
• Title: Spatio-Temporal Deformable Attention Network for Video Deblurring
• Title（参考訳）: ビデオデブロアリングのための時空間変形型アテンションネットワーク
• Authors: Huicong Zhang, Haozhe Xie and Hongxun Yao
• Abstract要約: ビデオデブロアリング法の重要な成功要因は、隣接するビデオフレームのシャープピクセルと中フレームのぼやけたピクセルを補償することである。 ビデオフレームの画素単位のぼかしレベルを考慮し,シャープな画素情報を抽出するSTDANetを提案する。
• 参考スコア（独自算出の注目度）: 21.514099863308676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key success factor of the video deblurring methods is to compensate for the blurry pixels of the mid-frame with the sharp pixels of the adjacent video frames. Therefore, mainstream methods align the adjacent frames based on the estimated optical flows and fuse the alignment frames for restoration. However, these methods sometimes generate unsatisfactory results because they rarely consider the blur levels of pixels, which may introduce blurry pixels from video frames. Actually, not all the pixels in the video frames are sharp and beneficial for deblurring. To address this problem, we propose the spatio-temporal deformable attention network (STDANet) for video delurring, which extracts the information of sharp pixels by considering the pixel-wise blur levels of the video frames. Specifically, STDANet is an encoder-decoder network combined with the motion estimator and spatio-temporal deformable attention (STDA) module, where motion estimator predicts coarse optical flows that are used as base offsets to find the corresponding sharp pixels in STDA module. Experimental results indicate that the proposed STDANet performs favorably against state-of-the-art methods on the GoPro, DVD, and BSD datasets.
• Abstract（参考訳）: ビデオデブラリング手法の重要な成功要因は、隣接するビデオフレームのシャープな画素で中フレームのぼやけた画素を補償することである。 したがって、本手法は、推定された光フローに基づいて隣接フレームを整列させ、アライメントフレームを融合して復元する。 しかし、これらの手法は、ビデオフレームからぼやけたピクセルをもたらすピクセルのぼやけたレベルをほとんど考慮しないため、不満足な結果を生み出すことがある。 実際、ビデオフレームのすべてのピクセルはシャープでメリットがあるわけではない。 この問題に対処するために,ビデオフレームの画素単位のぼかしレベルを考慮し,シャープ画素の情報を抽出するビデオデアリングのための時空間変形型アテンションネットワーク(STDANet)を提案する。 具体的には、STDANetは、動き推定器と時空間デフォルマブルアテンション(STDA)モジュールを組み合わせたエンコーダデコーダネットワークであり、動き推定器はベースオフセットとして使用される粗い光フローを予測し、対応するシャープピクセルをSTDAモジュールで見つける。 実験の結果,提案したSTDANetはGoPro,DVD,BSDデータセットの最先端手法に対して良好に動作していることがわかった。

関連論文リスト

• Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring [76.54162653678871]
  本稿では,特徴集約のためのハイブリッドトランスフォーマーを用いて,隣接するフレームとシャープフレームの両方を活用するビデオデブロアリング手法を提案する。 提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
  論文  参考訳（メタデータ） (2023-09-13T16:12:11Z)
• E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
  軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。 E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。 提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
  論文  参考訳（メタデータ） (2022-09-19T21:40:32Z)
• Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
  本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。 MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
  論文  参考訳（メタデータ） (2022-07-27T08:57:48Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)
• Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes [14.384467317051831]
  本稿では,複数のビデオフレームから情報を効果的に集約することで,映像をブルーリングする2つの新しい手法を提案する。 まず、ぼやけたフレーム間の動き推定精度を向上させるために、ぼやけた不変な動き推定学習を提案する。 第二に、動き補正のために、推定した動きを歪ませてフレームを整列する代わりに、被写体がシャープな画素を含む画素体積を用いて、動き推定誤差を解消する。
  論文  参考訳（メタデータ） (2021-08-23T07:36:49Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Personal Privacy Protection via Irrelevant Faces Tracking and Pixelation in Video Live Streaming [61.145467627057194]
  我々は、ビデオライブストリーミングにおいて、自動プライバシーフィルタリングを生成するためのFace Pixelationと呼ばれる新しい方法を開発した。 無関係な人々の顔の高速かつ正確なピクセル化のために、FPVLSは2つのコアステージのフレームツービデオ構造で構成されています。 収集したビデオライブストリーミングデータセットにおいて、FPVLSは満足度の高い精度、リアルタイム効率を取得し、オーバーピクセル問題を含む。
  論文  参考訳（メタデータ） (2021-01-04T16:18:26Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。