論文の概要: Blind Video Temporal Consistency via Deep Video Prior

• arxiv url: http://arxiv.org/abs/2010.11838v1
• Date: Thu, 22 Oct 2020 16:19:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:09:10.630971
• Title: Blind Video Temporal Consistency via Deep Video Prior
• Title（参考訳）: 深層ビデオによるブラインドビデオの時間一貫性
• Authors: Chenyang Lei, Yazhou Xing, Qifeng Chen
• Abstract要約: 視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 61.062900556483164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Applying image processing algorithms independently to each video frame often leads to temporal inconsistency in the resulting video. To address this issue, we present a novel and general approach for blind video temporal consistency. Our method is only trained on a pair of original and processed videos directly instead of a large dataset. Unlike most previous methods that enforce temporal consistency with optical flow, we show that temporal consistency can be achieved by training a convolutional network on a video with the Deep Video Prior. Moreover, a carefully designed iteratively reweighted training strategy is proposed to address the challenging multimodal inconsistency problem. We demonstrate the effectiveness of our approach on 7 computer vision tasks on videos. Extensive quantitative and perceptual experiments show that our approach obtains superior performance than state-of-the-art methods on blind video temporal consistency. Our source codes are publicly available at github.com/ChenyangLEI/deep-video-prior.
• Abstract（参考訳）: 各ビデオフレームに独立して画像処理アルゴリズムを適用すると、結果の映像に時間的矛盾が生じてしまう。 そこで本研究では,ブラインドビデオの時間的一貫性に対する新しい一般的アプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 従来の光学フローとの時間的一貫性を強制する手法と異なり、ビデオ上の畳み込みネットワークを事前のディープビデオでトレーニングすることで時間的一貫性を実現することができる。 さらに,マルチモーダル不整合問題に対処するために,注意深く設計した反復的重み付けトレーニング戦略を提案する。 ビデオ上での7つのコンピュータビジョンタスクに対するアプローチの有効性を示す。 広汎な定量的および知覚的実験により,目視ビデオの時間的一貫性に関する最先端手法よりも優れた性能が得られることが示された。 ソースコードはgithub.com/ChenyangLEI/deep-video-prior.comで公開されています。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
  本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• Time Does Tell: Self-Supervised Time-Tuning of Dense Image Representations [79.87044240860466]
  本稿では,高密度自己教師あり学習における時間的一貫性を取り入れた新しい手法を提案する。 タイムチューニング(time-tuning)と呼ぶ我々のアプローチは、画像事前学習モデルから始まり、ラベルなしビデオに新たな自己教師付き時間的アライメントクラスタリングロスを伴って微調整を行う。 タイムチューニングは、教師なしのセマンティックセマンティックセグメンテーションを8～10%改善し、画像にマッチさせる。
  論文  参考訳（メタデータ） (2023-08-22T21:28:58Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Self-supervised Video Representation Learning by Pace Prediction [48.029602040786685]
  本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 人間の視覚系がビデオのペースに敏感であるという観察に由来する。 我々は、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するよう依頼する。
  論文  参考訳（メタデータ） (2020-08-13T12:40:24Z)
• Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding [5.255783459833821]
  本稿では,監視ビデオにおける異常検出のための時間的深部符号化復号化手法を提案する。 提案手法はトレーニング期間中に異常ビデオクリップと正常ビデオクリップの両方を使用する。 提案手法は,ビデオ監視アプリケーションにおける異常検出の最先端ソリューションと同等かそれ以上に動作することを示す。
  論文  参考訳（メタデータ） (2020-07-03T08:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。