論文の概要: VJT: A Video Transformer on Joint Tasks of Deblurring, Low-light
Enhancement and Denoising
- arxiv url: http://arxiv.org/abs/2401.14754v1
- Date: Fri, 26 Jan 2024 10:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 15:26:56.296635
- Title: VJT: A Video Transformer on Joint Tasks of Deblurring, Low-light
Enhancement and Denoising
- Title(参考訳): VJT:デブロアリング・低照度強化・デノイングのジョイントタスクのビデオトランス
- Authors: Yuxiang Hui, Yang Liu, Yaofang Liu, Fan Jia, Jinshan Pan, Raymond
Chan, Tieyong Zeng
- Abstract要約: ビデオ復元作業は、低品質な観察から高品質な映像を復元することを目的としている。
ビデオはしばしば、ぼやけ、低照度、ノイズなど、さまざまな種類の劣化に直面します。
本稿では,映像の劣化,低照度化,雑音化といった共同作業に対して,効率的なエンドツーエンドビデオトランスフォーマ手法を提案する。
- 参考スコア(独自算出の注目度): 45.349350685858276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video restoration task aims to recover high-quality videos from low-quality
observations. This contains various important sub-tasks, such as video
denoising, deblurring and low-light enhancement, since video often faces
different types of degradation, such as blur, low light, and noise. Even worse,
these kinds of degradation could happen simultaneously when taking videos in
extreme environments. This poses significant challenges if one wants to remove
these artifacts at the same time. In this paper, to the best of our knowledge,
we are the first to propose an efficient end-to-end video transformer approach
for the joint task of video deblurring, low-light enhancement, and denoising.
This work builds a novel multi-tier transformer where each tier uses a
different level of degraded video as a target to learn the features of video
effectively. Moreover, we carefully design a new tier-to-tier feature fusion
scheme to learn video features incrementally and accelerate the training
process with a suitable adaptive weighting scheme. We also provide a new
Multiscene-Lowlight-Blur-Noise (MLBN) dataset, which is generated according to
the characteristics of the joint task based on the RealBlur dataset and YouTube
videos to simulate realistic scenes as far as possible. We have conducted
extensive experiments, compared with many previous state-of-the-art methods, to
show the effectiveness of our approach clearly.
- Abstract(参考訳): ビデオ復元タスクは、低品質の観察から高品質な動画を復元することを目的としている。
ビデオは、ぼやけ、低照度、ノイズなど、様々な種類の劣化に直面しているため、ビデオのデノイング、低照度化、低照度化などの重要なサブタスクが含まれている。
さらに悪いことに、このような劣化は、極端な環境でビデオを撮るときに同時に起こる可能性がある。
これは、同時にこれらのアーティファクトを削除したい場合、大きな課題となる。
本稿では,ビデオデブラリング,低光度エンハンスメント,デノイジングの合同作業において,映像トランスフォーマーを効率的に行うことを提案する。
この作品は、新しい多層トランスフォーマーを構築し、それぞれの層が異なるレベルのデグレードビデオを使用して、ビデオの特徴を効果的に学習する。
さらに,ビデオ特徴を段階的に学習し,適切な重み付け方式で学習プロセスを高速化する新しい階層間機能融合方式を慎重に設計する。
また,realblurデータセットとyoutubeビデオに基づく共同タスクの特性に応じて,可能な限りリアルなシーンをシミュレートする,新たなマルチシーン・ローライト・ブラインド・ノイズ(mlbn)データセットも提供する。
提案手法の有効性を明らかにするため,従来の最先端手法と比較して広範囲な実験を行った。
関連論文リスト
- Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。
RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。
我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
論文 参考訳(メタデータ) (2024-03-10T03:29:56Z) - Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style
Transfer [13.098901971644656]
本稿では,Style-A-Video というゼロショットビデオスタイリング手法を提案する。
画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて、簡潔なテキスト制御ビデオスタイリングを実現する。
テストの結果,従来のソリューションよりも少ない使用量で,優れたコンテンツ保存とスタイリスティックな性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-09T14:03:27Z) - Progressive Training of A Two-Stage Framework for Video Restoration [46.3264296278162]
マルチフレームリカレントネットワークとシングルフレームトランスを含む2段階のフレームワークを提案する。
NTIRE 2022のスーパーレゾリューションと圧縮ビデオの画質向上で2つのチャンピオンを獲得している。
論文 参考訳(メタデータ) (2022-04-21T07:24:14Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳(メタデータ) (2022-01-27T16:38:52Z) - Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。
我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。
我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
論文 参考訳(メタデータ) (2021-07-24T15:57:15Z) - A Good Image Generator Is What You Need for High-Resolution Video
Synthesis [73.82857768949651]
現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。
我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。
本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
論文 参考訳(メタデータ) (2021-04-30T15:38:41Z) - VideoMix: Rethinking Data Augmentation for Video Classification [29.923635550986997]
最新のビデオアクション分類器は、しばしばオーバーフィットに苦しむ。
オーバーフィッティング問題に対処するための最近のデータ拡張戦略が報告されている。
VideoMixは、モデルがオブジェクトやシーンのバイアスを越えて学習し、アクション認識のためのより堅牢な手がかりを抽出する。
論文 参考訳(メタデータ) (2020-12-07T05:40:33Z) - Encoding in the Dark Grand Challenge: An Overview [60.9261003831389]
低照度映像シーケンスの符号化に関するグランドチャレンジを提案する。
VVCは、エンコーディングに先立って単にビデオソースをデノベートするよりも高いパフォーマンスを達成する。
後処理画像強調法を用いることで、ビデオストリームの品質をさらに向上することができる。
論文 参考訳(メタデータ) (2020-05-07T08:22:56Z) - Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。
本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。
提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
論文 参考訳(メタデータ) (2020-03-21T02:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。