論文の概要: Direction-aware Video Demoireing with Temporal-guided Bilateral Learning
- arxiv url: http://arxiv.org/abs/2308.13388v1
- Date: Fri, 25 Aug 2023 14:04:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 13:41:37.322453
- Title: Direction-aware Video Demoireing with Temporal-guided Bilateral Learning
- Title（参考訳）: テンポラル誘導型バイラテラル学習による方向認識ビデオ復調
- Authors: Shuning Xu, Binbin Song, Xiangyu Chen, and Jiantao Zhou
- Abstract要約: DTNetはビデオ復調のための双方向学習ネットワークである。
DTNetは、モアレパターンの除去、アライメント、色補正、ディテール改善のプロセスを効果的に取り入れている。
実験ではPSNRの2.3dBによる最先端の手法よりも優れており,優れた視覚体験を提供する。
- 参考スコア（独自算出の注目度）: 18.566179400232556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Moire patterns occur when capturing images or videos on screens, severely
degrading the quality of the captured images or videos. Despite the recent
progresses, existing video demoireing methods neglect the physical
characteristics and formation process of moire patterns, significantly limiting
the effectiveness of video recovery. This paper presents a unified framework,
DTNet, a direction-aware and temporal-guided bilateral learning network for
video demoireing. DTNet effectively incorporates the process of moire pattern
removal, alignment, color correction, and detail refinement. Our proposed DTNet
comprises two primary stages: Frame-level Direction-aware Demoireing and
Alignment (FDDA) and Tone and Detail Refinement (TDR). In FDDA, we employ
multiple directional DCT modes to perform the moire pattern removal process in
the frequency domain, effectively detecting the prominent moire edges. Then,
the coarse and fine-grained alignment is applied on the demoired features for
facilitating the utilization of neighboring information. In TDR, we propose a
temporal-guided bilateral learning pipeline to mitigate the degradation of
color and details caused by the moire patterns while preserving the restored
frequency information in FDDA. Guided by the aligned temporal features from
FDDA, the affine transformations for the recovery of the ultimate clean frames
are learned in TDR. Extensive experiments demonstrate that our video demoireing
method outperforms state-of-the-art approaches by 2.3 dB in PSNR, and also
delivers a superior visual experience.
- Abstract（参考訳）: moireパターンは、画面上で画像やビデオを撮影して、キャプチャした画像やビデオの品質を著しく低下させるときに発生する。
近年の進歩にもかかわらず、既存の映像復調法はモアレパターンの物理的特徴や形成過程を無視し、映像再生の有効性を著しく制限している。
本稿では,映像復調のための方向認識と時間制御による双方向学習ネットワークdtnetについて述べる。
DTNetは、モアレパターンの除去、アライメント、色補正、ディテール改善のプロセスを効果的に取り入れている。
提案するDTNetは,フレームレベル指向型デモアライメント・アライメント(FDDA)とトーン・ディテール・リファインメント(TDR)の2段階からなる。
FDDAでは、複数の方向DCTモードを用いて周波数領域におけるモアレパターン除去処理を行い、顕著なモアレエッジを効果的に検出する。
そして、隣接情報の活用を容易にするために、破砕特徴に粗粒度及び細粒度アライメントを適用する。
tdrでは,fddaで復元された周波数情報を保存しつつ,moireパターンによる色や詳細の劣化を軽減するために,時間的ガイド付きバイラテラル学習パイプラインを提案する。
FDDAの時間的特徴に則って、究極のクリーンフレームの回復のためのアフィン変換をTDRで学習する。
広汎な実験により,PSNRの2.3dBによる最先端の手法よりも優れた映像体験を実現することができた。
関連論文リスト
- VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。
ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。
提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-06T05:46:17Z) - Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection [91.97935118185]
医用ビデオ病変検出のための画像間知識蒸留法を提案する。
複数フレームのコンテキストを単一のフレームに蒸留することにより、ビデオベースモデルから時間的コンテキストを利用する利点と、画像ベースモデルの推論速度を組み合わせたV2I-DETRを提案する。
V2I-DETRは、画像ベースモデルとしてリアルタイム推論速度(30FPS)を達成しつつ、従来の最先端手法を大きなマージンで上回る。
論文 参考訳（メタデータ） (2024-08-26T07:17:05Z) - DemMamba: Alignment-free Raw Video Demoireing with Frequency-assisted Spatio-Temporal Mamba [18.06907326360215]
2つの同様の反復パターンの干渉によるモアレパターンは、画面上の画像やビデオのキャプチャ中に頻繁に観察される。
本稿では,周波数アシスト型マンバを用いたアライメントレス生ビデオ復調ネットワークを提案する。
提案するDemMambaはPSNRで1.3dBの最先端手法を超越し,良好な視覚体験を提供する。
論文 参考訳（メタデータ） (2024-08-20T09:31:03Z) - Long-Short Temporal Co-Teaching for Weakly Supervised Video Anomaly
Detection [14.721615285883423]
弱教師付き異常検出(WS-VAD)はビデオレベルのアノテーションだけでVADモデルを学習することを目的とした課題である。
提案手法は,異なる期間の異常や微妙な異常に対処できる。
論文 参考訳（メタデータ） (2023-03-31T13:28:06Z) - Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。
既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。
本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
論文 参考訳（メタデータ） (2023-03-16T17:52:45Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳（メタデータ） (2022-07-05T09:27:53Z) - Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel
Transformer [29.03463312813923]
Video Denoisingは、ノイズの多いビデオから高品質なフレームを復元することを目的としている。
既存のほとんどのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して、ノイズを元の視覚コンテンツから分離する。
粗大な映像をデノナイズするためのDual-stage Spatial-Channel Transformer (DSCT)を提案する。
論文 参考訳（メタデータ） (2022-04-30T09:01:21Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - Temporal Distinct Representation Learning for Action Recognition [139.93983070642412]
2次元畳み込みニューラルネットワーク (2D CNN) はビデオの特徴付けに用いられる。
ビデオの異なるフレームは同じ2D CNNカーネルを共有しており、繰り返し、冗長な情報利用をもたらす可能性がある。
本稿では,異なるフレームからの特徴の識別チャネルを段階的にエキサイティングにするためのシーケンシャルチャネルフィルタリング機構を提案し,繰り返し情報抽出を回避する。
本手法は,ベンチマーク時相推論データセットを用いて評価し,それぞれ2.4%,1.3%の可視性向上を実現している。
論文 参考訳（メタデータ） (2020-07-15T11:30:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。