論文の概要: Direction-aware Video Demoireing with Temporal-guided Bilateral Learning
- arxiv url: http://arxiv.org/abs/2308.13388v2
- Date: Thu, 14 Dec 2023 14:19:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 04:18:40.366841
- Title: Direction-aware Video Demoireing with Temporal-guided Bilateral Learning
- Title(参考訳): テンポラル誘導型バイラテラル学習による方向認識ビデオ復調
- Authors: Shuning Xu, Binbin Song, Xiangyu Chen, and Jiantao Zhou
- Abstract要約: 既存の映像復調法は、モアレパターンの物理的特徴や形成過程を無視する。
本稿では,ビデオ復調のための双方向学習ネットワークDTNetについて述べる。
- 参考スコア(独自算出の注目度): 18.566179400232556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Moire patterns occur when capturing images or videos on screens, severely
degrading the quality of the captured images or videos. Despite the recent
progresses, existing video demoireing methods neglect the physical
characteristics and formation process of moire patterns, significantly limiting
the effectiveness of video recovery. This paper presents a unified framework,
DTNet, a direction-aware and temporal-guided bilateral learning network for
video demoireing. DTNet effectively incorporates the process of moire pattern
removal, alignment, color correction, and detail refinement. Our proposed DTNet
comprises two primary stages: Frame-level Direction-aware Demoireing and
Alignment (FDDA) and Tone and Detail Refinement (TDR). In FDDA, we employ
multiple directional DCT modes to perform the moire pattern removal process in
the frequency domain, effectively detecting the prominent moire edges. Then,
the coarse and fine-grained alignment is applied on the demoired features for
facilitating the utilization of neighboring information. In TDR, we propose a
temporal-guided bilateral learning pipeline to mitigate the degradation of
color and details caused by the moire patterns while preserving the restored
frequency information in FDDA. Guided by the aligned temporal features from
FDDA, the affine transformations for the recovery of the ultimate clean frames
are learned in TDR. Extensive experiments demonstrate that our video demoireing
method outperforms state-of-the-art approaches by 2.3 dB in PSNR, and also
delivers a superior visual experience. Our code is available at
https://github.com/rebeccaeexu/DTNet.
- Abstract(参考訳): moireパターンは、画面上で画像やビデオを撮影して、キャプチャした画像やビデオの品質を著しく低下させるときに発生する。
近年の進歩にもかかわらず、既存の映像復調法はモアレパターンの物理的特徴や形成過程を無視し、映像再生の有効性を著しく制限している。
本稿では,映像復調のための方向認識と時間制御による双方向学習ネットワークdtnetについて述べる。
DTNetは、モアレパターンの除去、アライメント、色補正、ディテール改善のプロセスを効果的に取り入れている。
提案するDTNetは,フレームレベル指向型デモアライメント・アライメント(FDDA)とトーン・ディテール・リファインメント(TDR)の2段階からなる。
FDDAでは、複数の方向DCTモードを用いて周波数領域におけるモアレパターン除去処理を行い、顕著なモアレエッジを効果的に検出する。
そして、隣接情報の活用を容易にするために、破砕特徴に粗粒度及び細粒度アライメントを適用する。
tdrでは,fddaで復元された周波数情報を保存しつつ,moireパターンによる色や詳細の劣化を軽減するために,時間的ガイド付きバイラテラル学習パイプラインを提案する。
FDDAの時間的特徴に則って、究極のクリーンフレームの回復のためのアフィン変換をTDRで学習する。
広汎な実験により,PSNRの2.3dBによる最先端の手法よりも優れた映像体験を実現することができた。
私たちのコードはhttps://github.com/rebeccaeexu/dtnetで利用可能です。
関連論文リスト
- Raformer: Redundancy-Aware Transformer for Video Wire Inpainting [77.41727407673066]
Video Wire Inpainting (VWI)は、映画やテレビシリーズのワイヤーを完璧に除去することを目的とした、ビデオ塗装における顕著な応用である。
ワイヤーの取り外しは、一般的なビデオの塗布作業で通常対象とするものよりも長く、細くなっているため、大きな課題となる。
WRV2 と Pseudo Wire-Shaped (PWS) Masks という新しいマスク生成戦略を備えた新しい VWI データセットを提案する。
WRV2データセットは、平均80フレームの4,000本以上のビデオで構成され、インペイントモデルの開発と有効性を促進するように設計されている。
論文 参考訳(メタデータ) (2024-04-24T11:02:13Z) - Long-Short Temporal Co-Teaching for Weakly Supervised Video Anomaly
Detection [14.721615285883423]
弱教師付き異常検出(WS-VAD)はビデオレベルのアノテーションだけでVADモデルを学習することを目的とした課題である。
提案手法は,異なる期間の異常や微妙な異常に対処できる。
論文 参考訳(メタデータ) (2023-03-31T13:28:06Z) - Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。
既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。
本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
論文 参考訳(メタデータ) (2023-03-16T17:52:45Z) - FPANet: Frequency-based Video Demoireing using Frame-level Post
Alignment [6.507353572917133]
周波数領域と空間領域の両方でフィルタを学習するFPANetという新しいモデルを提案する。
提案手法の有効性を,一般公開された大規模データセットを用いて実証する。
論文 参考訳(メタデータ) (2023-01-18T06:37:24Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳(メタデータ) (2022-07-05T09:27:53Z) - Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel
Transformer [29.03463312813923]
Video Denoisingは、ノイズの多いビデオから高品質なフレームを復元することを目的としている。
既存のほとんどのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して、ノイズを元の視覚コンテンツから分離する。
粗大な映像をデノナイズするためのDual-stage Spatial-Channel Transformer (DSCT)を提案する。
論文 参考訳(メタデータ) (2022-04-30T09:01:21Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳(メタデータ) (2022-01-27T16:38:52Z) - Temporal Distinct Representation Learning for Action Recognition [139.93983070642412]
2次元畳み込みニューラルネットワーク (2D CNN) はビデオの特徴付けに用いられる。
ビデオの異なるフレームは同じ2D CNNカーネルを共有しており、繰り返し、冗長な情報利用をもたらす可能性がある。
本稿では,異なるフレームからの特徴の識別チャネルを段階的にエキサイティングにするためのシーケンシャルチャネルフィルタリング機構を提案し,繰り返し情報抽出を回避する。
本手法は,ベンチマーク時相推論データセットを用いて評価し,それぞれ2.4%,1.3%の可視性向上を実現している。
論文 参考訳(メタデータ) (2020-07-15T11:30:40Z) - Wavelet-Based Dual-Branch Network for Image Demoireing [148.91145614517015]
画像復調のための空間的注意機構を備えたウェーブレットベースのデュアルブランチネットワーク(WDNet)を設計する。
我々のネットワークはウェーブレット領域のモアレパターンを除去し、モアレパターンの周波数を画像の内容から分離する。
さらに,本手法の有効性を実証し,WDNetが非スクリーン画像上のモアレアーティファクトの除去を一般化することを示す。
論文 参考訳(メタデータ) (2020-07-14T16:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。