論文の概要: Blind Video Deflickering by Neural Filtering with a Flawed Atlas

• arxiv url: http://arxiv.org/abs/2303.08120v1
• Date: Tue, 14 Mar 2023 17:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 13:51:01.555364
• Title: Blind Video Deflickering by Neural Filtering with a Flawed Atlas
• Title（参考訳）: 欠陥アトラスを用いたニューラルフィルタによるブラインドビデオデクリッカー
• Authors: Chenyang Lei, Xuanchi Ren, Zhaoxiang Zhang, Qifeng Chen
• Abstract要約: 本稿では,一本のフリック動画のみを入力として受信する一般的なフリック除去フレームワークを提案する。 われわれのアプローチの核心は、ニューラルフィルター戦略と協調して、ニューラルアトラスを活用することである。 提案手法を検証するために,実世界のフリックングビデオを含むデータセットを構築した。
• 参考スコア（独自算出の注目度）: 90.96203200658667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many videos contain flickering artifacts. Common causes of flicker include video processing algorithms, video generation algorithms, and capturing videos under specific situations. Prior work usually requires specific guidance such as the flickering frequency, manual annotations, or extra consistent videos to remove the flicker. In this work, we propose a general flicker removal framework that only receives a single flickering video as input without additional guidance. Since it is blind to a specific flickering type or guidance, we name this "blind deflickering." The core of our approach is utilizing the neural atlas in cooperation with a neural filtering strategy. The neural atlas is a unified representation for all frames in a video that provides temporal consistency guidance but is flawed in many cases. To this end, a neural network is trained to mimic a filter to learn the consistent features (e.g., color, brightness) and avoid introducing the artifacts in the atlas. To validate our method, we construct a dataset that contains diverse real-world flickering videos. Extensive experiments show that our method achieves satisfying deflickering performance and even outperforms baselines that use extra guidance on a public benchmark.
• Abstract（参考訳）: 多くのビデオにはフリックなアーティファクトが含まれている。 flickerの一般的な原因は、ビデオ処理アルゴリズム、ビデオ生成アルゴリズム、特定の状況下でのビデオ撮影である。 以前の作業は通常、フリックの頻度、手動のアノテーション、あるいはフリックを除去するために一貫したビデオなど、特定のガイダンスを必要とする。 本研究では,1つのフリックアリング映像のみを入力として受信する一般的なフリックア除去フレームワークを提案する。 特定のフリッカリングタイプやガイダンスに盲目であるため、我々はこれを「ブラインドデクリッカリング」と呼ぶ。 このアプローチの核心は、ニューラルネットワークのフィルタリング戦略と協調して、neural atlasを活用することです。 neural atlasはビデオ内のすべてのフレームの統一表現であり、時間的一貫性のガイダンスを提供するが、多くの場合、欠陥がある。 この目的のために、ニューラルネットワークはフィルタを模倣して一貫した特徴(色、明るさなど)を学習し、atlasにアーティファクトを導入するのを避けるように訓練される。 提案手法を検証するために,実世界のフリックングビデオを含むデータセットを構築した。 広範な実験により,提案手法は,公開ベンチマークで追加のガイダンスを用いたベースラインよりも優れた性能を実現することが示された。

関連論文リスト

• Look at Adjacent Frames: Video Anomaly Detection without Offline Training [21.334952965297667]
  オフラインでモデルをトレーニングすることなく,ビデオ中の異常事象を検出する手法を提案する。 具体的には,画像フレーム,ピクセル・バイ・ピクセルを周波数情報から再構成するためにオンラインで最適化されたランダムな多層パーセプトロンをベースとした。 インクリメンタルラーナは、各フレームを観察した後に多層パーセプトロンのパラメータを更新するために使用され、ビデオストリームに沿って異常なイベントを検出することができる。
  論文  参考訳（メタデータ） (2022-07-27T21:18:58Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Highlight Timestamp Detection Model for Comedy Videos via Multimodal Sentiment Analysis [1.6181085766811525]
  本研究では,この分野での最先端性能を得るためのマルチモーダル構造を提案する。 マルチモーダルビデオ理解のためのベンチマークをいくつか選択し、最適な性能を求めるのに最適なモデルを適用した。
  論文  参考訳（メタデータ） (2021-05-28T08:39:19Z)
• Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling [98.41300980759577]
  ビデオと言語の学習に対する標準的なアプローチは、オフラインで抽出された高密度ビデオ機能から学習するニューラルネットワークを規定する。 本稿では,ビデオ・言語タスクに対して,手頃なエンドツーエンド学習を可能にする汎用フレームワークClipBERTを提案する。 6つのデータセットにおけるテキスト・ビデオ検索とビデオ質問応答の実験は、ClipBERTが既存の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-11T18:50:16Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• Self-supervised Video Representation Learning by Pace Prediction [48.029602040786685]
  本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 人間の視覚系がビデオのペースに敏感であるという観察に由来する。 我々は、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するよう依頼する。
  論文  参考訳（メタデータ） (2020-08-13T12:40:24Z)
• Adversarially Robust Frame Sampling with Bounded Irregularities [11.434633941880143]
  ビデオから意味のある情報を自動抽出するビデオ解析ツールが広く研究され、デプロイされている。 多くは計算コストのかかるディープニューラルネットワークを使用しており、そのようなアルゴリズムにビデオフレームのサブセットだけを投入することが望ましい。 このサンプリング問題に対するエレガントな解法は、敵攻撃に対して確実に堅牢であり、また有界な不規則性も導入する。
  論文  参考訳（メタデータ） (2020-02-04T06:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。