論文の概要: Video Demoireing with Relation-Based Temporal Consistency

• arxiv url: http://arxiv.org/abs/2204.02957v1
• Date: Wed, 6 Apr 2022 17:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 15:03:56.894294
• Title: Video Demoireing with Relation-Based Temporal Consistency
• Title（参考訳）: 関係性に基づく時間的整合性による映像復調
• Authors: Peng Dai, Xin Yu, Lan Ma, Baoheng Zhang, Jia Li, Wenbo Li, Jiajun Shen, Xiaojuan Qi
• Abstract要約: カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
• 参考スコア（独自算出の注目度）: 68.20281109859998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Moire patterns, appearing as color distortions, severely degrade image and video qualities when filming a screen with digital cameras. Considering the increasing demands for capturing videos, we study how to remove such undesirable moire patterns in videos, namely video demoireing. To this end, we introduce the first hand-held video demoireing dataset with a dedicated data collection pipeline to ensure spatial and temporal alignments of captured data. Further, a baseline video demoireing model with implicit feature space alignment and selective feature aggregation is developed to leverage complementary information from nearby frames to improve frame-level video demoireing. More importantly, we propose a relation-based temporal consistency loss to encourage the model to learn temporal consistency priors directly from ground-truth reference videos, which facilitates producing temporally consistent predictions and effectively maintains frame-level qualities. Extensive experiments manifest the superiority of our model. Code is available at \url{https://daipengwa.github.io/VDmoire_ProjectPage/}.
• Abstract（参考訳）: カラー歪みとして現れるモアレパターンは、デジタルカメラでスクリーンを撮影する際、画像や映像の品質を著しく低下させる。 ビデオ撮影の需要が増大する中、ビデオに望ましくないモアレパターンを除去する方法、すなわちビデオの削除について検討する。 そこで本研究では,手持ちビデオ復調データセットを専用のデータ収集パイプラインで導入し,撮影データの空間的・時間的アライメントを確保する。 さらに、暗黙的特徴空間アライメントと選択的特徴集約を備えたベースライン映像復調モデルを開発し、近傍フレームからの補完情報を活用してフレームレベルの映像復調を改善する。 さらに,時間的一貫性の予測を容易にし,フレームレベルの品質を効果的に保ちながら,時間的一貫性をモデルが直接学習することを促すために,関係に基づく時間的一貫性の損失を提案する。 大規模な実験は、我々のモデルの優越性を示す。 コードは \url{https://daipengwa.github.io/vdmoire_projectpage/} で入手できる。

関連論文リスト

• Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
  Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。 時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
  論文  参考訳（メタデータ） (2024-11-26T09:28:32Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)
• Learning Fine-Grained Visual Understanding for Video Question Answering via Decoupling Spatial-Temporal Modeling [28.530765643908083]
  空間的時間的モデリングを分離し、画像とビデオ言語を統合して、きめ細かい視覚的理解を学習する。 本稿では,ビデオシーケンス中の事象の時間的位置を特定することを必要とする,新たな事前学習対象であるテンポラル参照モデリングを提案する。 我々のモデルは、桁違いの大きなデータセットで事前訓練された以前の作業より優れています。
  論文  参考訳（メタデータ） (2022-10-08T07:03:31Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Temporally stable video segmentation without video annotations [6.184270985214255]
  静止画像分割モデルを教師なしの方法でビデオに適応させる手法を提案する。 整合性尺度がヒトの判断とよく相関していることを検証する。 生成したセグメンテーションビデオの精度の低下を最小限に抑えて改善を観察する。
  論文  参考訳（メタデータ） (2021-10-17T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。