論文の概要: Joint Flow And Feature Refinement Using Attention For Video Restoration

• arxiv url: http://arxiv.org/abs/2505.16434v1
• Date: Thu, 22 May 2025 09:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.185934
• Title: Joint Flow And Feature Refinement Using Attention For Video Restoration
• Title（参考訳）: 映像再生のための注意を用いた関節流動・機能改善
• Authors: Ranjith Merugu, Mohammad Sameer Suhail, Akshay P Sarashetti, Venkata Bharath Reddy Reddem, Pankaj Kumar Bajpai, Amit Satish Unde,
• Abstract要約: 本稿では,JFFRA (Joint Flow and Feature Refinement using Attention) という新しいビデオ修復フレームワークを提案する。 提案手法は,最先端手法と比較して最大1.62dBの性能向上を示す。
• 参考スコア（独自算出の注目度）: 0.3811713174618588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in video restoration have focused on recovering high-quality video frames from low-quality inputs. Compared with static images, the performance of video restoration significantly depends on efficient exploitation of temporal correlations among successive video frames. The numerous techniques make use of temporal information via flow-based strategies or recurrent architectures. However, these methods often encounter difficulties in preserving temporal consistency as they utilize degraded input video frames. To resolve this issue, we propose a novel video restoration framework named Joint Flow and Feature Refinement using Attention (JFFRA). The proposed JFFRA is based on key philosophy of iteratively enhancing data through the synergistic collaboration of flow (alignment) and restoration. By leveraging previously enhanced features to refine flow and vice versa, JFFRA enables efficient feature enhancement using temporal information. This interplay between flow and restoration is executed at multiple scales, reducing the dependence on precise flow estimation. Moreover, we incorporate an occlusion-aware temporal loss function to enhance the network's capability in eliminating flickering artifacts. Comprehensive experiments validate the versatility of JFFRA across various restoration tasks such as denoising, deblurring, and super-resolution. Our method demonstrates a remarkable performance improvement of up to 1.62 dB compared to state-of-the-art approaches.
• Abstract（参考訳）: 映像復元の最近の進歩は、高品質な映像フレームを低品質な入力から復元することに集中している。 静止画像と比較すると,映像復元の性能は連続した映像フレーム間の時間的相関の有効利用に大きく依存する。 多数のテクニックは、フローベースの戦略や繰り返しアーキテクチャを通じて、時間的情報を利用する。 しかし、これらの手法は、劣化した入力ビデオフレームを利用するため、時間的一貫性を維持するのにしばしば困難に直面する。 この問題を解決するために,JFFRA (Joint Flow and Feature Refinement using Attention) という新しいビデオ修復フレームワークを提案する。 提案したJFFRAは、フロー(アライメント)とリカバリ(リカバリ)の相乗的協調を通じて、データを反復的に強化する重要な哲学に基づいている。 JFFRAは、以前拡張された機能を活用して、フローを洗練し、その逆をすることで、時間情報を用いた効率的な機能拡張を可能にします。 このフローとリカバリの相互作用は、複数のスケールで実行され、正確なフロー推定への依存を減らす。 さらに,フリックを除去するネットワークの能力を高めるために,オクルージョンを意識した時間損失関数を組み込んだ。 総合的な実験は、分解、脱臭、超解像といった様々な修復作業における JFFRA の汎用性を検証する。 提案手法は,最先端手法と比較して最大1.62dBの性能向上を示す。

関連論文リスト

• Rethinking Video Tokenization: A Conditioned Diffusion-based Approach [58.164354605550194]
  新しいトークン化ツールであるDiffusion Conditioned-based Gene Tokenizerは、GANベースのデコーダを条件付き拡散モデルで置き換える。 再建に基本的MSE拡散損失とKL項,LPIPSを併用した訓練を行った。 CDTのスケールダウン版(3$times inference speedup)でさえ、トップベースラインと互換性がある。
  論文  参考訳（メタデータ） (2025-03-05T17:59:19Z)
• SVFR: A Unified Framework for Generalized Video Face Restoration [86.17060212058452]
  顔復元(FR)は画像およびビデオ処理において重要な領域であり、劣化した入力から高品質な肖像画を再構成することに焦点を当てている。 本稿では,映像BFR,インペイント,カラー化タスクを統合した汎用映像顔復元タスクを提案する。 この研究は、ビデオFRにおける最先端技術を進め、一般化されたビデオ顔の復元のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-01-02T12:51:20Z)
• Coherent Video Inpainting Using Optical Flow-Guided Efficient Diffusion [15.188335671278024]
  高速な映像コヒーレンスを実現するために,光フロー誘導効率拡散(FloED)を用いた新しい映像インペイントフレームワークを提案する。 FloEDはデュアルブランチアーキテクチャを採用しており、時間に依存しないフローブランチが最初に破損したフローを復元し、マルチスケールフローアダプタがメインの塗装ブランチにモーションガイダンスを提供する。 背景復元およびオブジェクト除去タスクの実験では、FloEDは最先端の拡散法よりも品質と効率の両方で優れていた。
  論文  参考訳（メタデータ） (2024-12-01T15:45:26Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring [28.626224230377108]
  本稿では,高分解能ビデオと高分解能ビデオとの連成学習手法であるVSRDBを,ぼやけた低分解能ビデオから復元する手法を提案する。 本稿では,フロー誘導動的フィルタリング(FGDF)とマルチアテンション(FRMA)フレームワークを用いた反復的特徴改善を提案する。
  論文  参考訳（メタデータ） (2024-01-08T07:34:43Z)
• Toward Accurate and Temporally Consistent Video Restoration from Raw Data [20.430231283171327]
  連続的かつ高精度な空間伝搬による新しいVJDDフレームワークを提案する。 提案した損失は,不正確な流量推定による誤差蓄積問題を回避することができる。 復元精度,知覚品質,時間的整合性の観点から,VJDDの先行性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-12-25T12:38:03Z)
• FRDiff : Feature Reuse for Universal Training-free Acceleration of Diffusion Models [16.940023904740585]
  拡散モデルに固有の時間的冗長性を活用する高度な加速手法を提案する。 時間的類似度の高い特徴マップの再利用は、出力品質を損なうことなく計算資源を節約する新たな機会を開く。
  論文  参考訳（メタデータ） (2023-12-06T14:24:26Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。