論文の概要: Toward Accurate and Temporally Consistent Video Restoration from Raw Data

• arxiv url: http://arxiv.org/abs/2312.16247v1
• Date: Mon, 25 Dec 2023 12:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 20:15:40.421962
• Title: Toward Accurate and Temporally Consistent Video Restoration from Raw Data
• Title（参考訳）: 生データからの映像復元の精度と時間的整合性
• Authors: Shi Guo, Jianqi Ma, Xi Yang, Zhengqiang Zhang, Lei Zhang
• Abstract要約: 連続的かつ高精度な空間伝搬による新しいVJDDフレームワークを提案する。 提案した損失は,不正確な流量推定による誤差蓄積問題を回避することができる。 復元精度,知覚品質,時間的整合性の観点から,VJDDの先行性能を示す実験を行った。
• 参考スコア（独自算出の注目度）: 20.430231283171327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising and demosaicking are two fundamental steps in reconstructing a clean full-color video from raw data, while performing video denoising and demosaicking jointly, namely VJDD, could lead to better video restoration performance than performing them separately. In addition to restoration accuracy, another key challenge to VJDD lies in the temporal consistency of consecutive frames. This issue exacerbates when perceptual regularization terms are introduced to enhance video perceptual quality. To address these challenges, we present a new VJDD framework by consistent and accurate latent space propagation, which leverages the estimation of previous frames as prior knowledge to ensure consistent recovery of the current frame. A data temporal consistency (DTC) loss and a relational perception consistency (RPC) loss are accordingly designed. Compared with the commonly used flow-based losses, the proposed losses can circumvent the error accumulation problem caused by inaccurate flow estimation and effectively handle intensity changes in videos, improving much the temporal consistency of output videos while preserving texture details. Extensive experiments demonstrate the leading VJDD performance of our method in term of restoration accuracy, perceptual quality and temporal consistency. Codes and dataset are available at \url{https://github.com/GuoShi28/VJDD}.
• Abstract（参考訳）: 復調と復調は、生データからクリーンなフルカラー映像を再構成する2つの基本的なステップであり、ビデオ復調と復調を共同で行う場合、VJDDは別々に行うよりもビデオ復元性能が向上する可能性がある。 復元精度に加えて、VJDDのもう一つの重要な課題は連続フレームの時間的一貫性にある。 この問題は、映像の知覚品質を高めるために知覚正規化用語が導入されると悪化する。 これらの課題に対処するために,既存のフレームを事前知識として推定し,一貫した現在のフレームの回復を保証するために,一貫性と高精度な遅延空間伝搬による新しいVJDDフレームワークを提案する。 データ時間整合性(DTC)損失とリレーショナル知覚整合性(RPC)損失とがそれに従って設計される。 一般的なフローベース損失と比較して,不正確なフロー推定による誤差蓄積問題を回避し,映像の強度変化を効果的に処理し,テクスチャを保存しながら出力ビデオの時間的一貫性を大幅に向上させることができる。 広汎な実験により,回復精度,知覚的品質,時間的整合性の観点から,本手法の先行するVJDD性能が示された。 コードとデータセットは \url{https://github.com/guoshi28/vjdd} で利用可能である。

関連論文リスト

• Uncertainty-Aware Deep Video Compression with Ensembles [24.245365441718654]
  深層アンサンブルによる予測不確かさを効果的に把握できる不確実性対応ビデオ圧縮モデルを提案する。 我々のモデルは1080pのシーケンスに比べて20%以上効率良くビットを節約できる。
  論文  参考訳（メタデータ） (2024-03-28T05:44:48Z)
• Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
  本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。 我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。 動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
  論文  参考訳（メタデータ） (2023-12-01T14:40:07Z)
• FLAIR: A Conditional Diffusion Framework with Applications to Face Video Restoration [14.17192434286707]
  顔画像復元のためのFLAIRと呼ばれる新しい条件拡散フレームワークを提案する。 FLAIRは、計算的に効率的な方法でフレーム間の時間的一貫性を保証する。 我々の実験は,2つの高品質な顔ビデオデータセット上での映像超解像,デブロアリング,JPEG復元,時空フレームにおいて,現在最先端(SOTA)よりもFLAIRの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-26T22:09:18Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)
• Coherent Loss: A Generic Framework for Stable Video Segmentation [103.78087255807482]
  ビデオセグメンテーションの結果の視覚的品質を,ジッタリングアーティファクトがいかに劣化させるかを検討する。 本稿では,ニューラルネットワークの性能向上を目的とした汎用フレームワークを備えたコヒーレントロスを提案する。
  論文  参考訳（メタデータ） (2020-10-25T10:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。