論文の概要: Revisiting Temporal Alignment for Video Restoration

• arxiv url: http://arxiv.org/abs/2111.15288v1
• Date: Tue, 30 Nov 2021 11:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:22:09.889273
• Title: Revisiting Temporal Alignment for Video Restoration
• Title（参考訳）: 映像復元のための時間的アライメントの再検討
• Authors: Kun Zhou, Wenbo Li, Liying Lu, Xiaoguang Han, Jiangbo Lu
• Abstract要約: 長時間の時間的アライメントは、ビデオ復元作業には不可欠だが、難しい。 本稿では, 段階的な修正手法を応用した, 新規で汎用的な反復的アライメントモジュールを提案する。 本モデルは,映像復元タスクの多種多様なベンチマークにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 39.05100686559188
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Long-range temporal alignment is critical yet challenging for video restoration tasks. Recently, some works attempt to divide the long-range alignment into several sub-alignments and handle them progressively. Although this operation is helpful in modeling distant correspondences, error accumulation is inevitable due to the propagation mechanism. In this work, we present a novel, generic iterative alignment module which employs a gradual refinement scheme for sub-alignments, yielding more accurate motion compensation. To further enhance the alignment accuracy and temporal consistency, we develop a non-parametric re-weighting method, where the importance of each neighboring frame is adaptively evaluated in a spatial-wise way for aggregation. By virtue of the proposed strategies, our model achieves state-of-the-art performance on multiple benchmarks across a range of video restoration tasks including video super-resolution, denoising and deblurring. Our project is available in \url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git}.
• Abstract（参考訳）: 長時間の時間的アライメントは、ビデオ復元作業には不可欠である。 近年、長距離アライメントをいくつかのサブアライメントに分割し、徐々に処理しようとする研究もある。 この操作は遠距離対応のモデル化に有用であるが,伝播機構により誤りの蓄積は避けられない。 本稿では,サブアライメントの段階的改良を施し,より高精度な動作補償を実現する,新しい反復アライメントモジュールを提案する。 さらにアライメントの精度と時間的整合性を高めるために,各フレームの重要性を空間的に評価する非パラメトリック再重み付け手法を開発した。 提案手法により,ビデオスーパーレゾリューション,デノイング,デブロワーリングなど,様々なビデオ修復タスクにおいて,複数のベンチマークで最先端のパフォーマンスを実現する。 我々のプロジェクトは \url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git} で利用可能です。

関連論文リスト

• Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
  AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
  論文  参考訳（メタデータ） (2024-11-10T21:30:16Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Local-Global Temporal Difference Learning for Satellite Video Super-Resolution [55.69322525367221]
  本稿では,時間的差分を効果的かつ効果的な時間的補償に利用することを提案する。 フレーム内における局所的・大域的時間的情報を完全に活用するために,短期・長期的時間的相違を体系的にモデル化した。 5つの主流ビデオ衛星に対して行われた厳密な客観的および主観的評価は、我々の手法が最先端のアプローチに対して好適に機能することを実証している。
  論文  参考訳（メタデータ） (2023-04-10T07:04:40Z)
• Temporal Consistency Learning of inter-frames for Video Super-Resolution [38.26035126565062]
  ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 本稿では,再建されたビデオの一貫性を高めるため,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-03T08:23:57Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Coarse to Fine Multi-Resolution Temporal Convolutional Network [25.08516972520265]
  本稿では,シークエンス断片化問題に対処する新しいテンポラルエンコーダデコーダを提案する。 デコーダは、複数の時間分解能の暗黙のアンサンブルを持つ粗い微細構造に従う。 実験により、我々のスタンドアローンアーキテクチャは、新しい機能拡張戦略と新しい損失と共に、3つの時間的ビデオセグメンテーションベンチマークで最先端のパフォーマンスを達成していることが示された。
  論文  参考訳（メタデータ） (2021-05-23T06:07:40Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。