論文の概要: Deep Video Prior for Video Consistency and Propagation

• arxiv url: http://arxiv.org/abs/2201.11632v1
• Date: Thu, 27 Jan 2022 16:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 13:33:57.435084
• Title: Deep Video Prior for Video Consistency and Propagation
• Title（参考訳）: ビデオの一貫性と伝搬に先立つディープビデオ
• Authors: Chenyang Lei, Yazhou Xing, Hao Ouyang, Qifeng Chen
• Abstract要約: 視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 58.250209011891904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Applying an image processing algorithm independently to each video frame often leads to temporal inconsistency in the resulting video. To address this issue, we present a novel and general approach for blind video temporal consistency. Our method is only trained on a pair of original and processed videos directly instead of a large dataset. Unlike most previous methods that enforce temporal consistency with optical flow, we show that temporal consistency can be achieved by training a convolutional neural network on a video with Deep Video Prior (DVP). Moreover, a carefully designed iteratively reweighted training strategy is proposed to address the challenging multimodal inconsistency problem. We demonstrate the effectiveness of our approach on 7 computer vision tasks on videos. Extensive quantitative and perceptual experiments show that our approach obtains superior performance than state-of-the-art methods on blind video temporal consistency. We further extend DVP to video propagation and demonstrate its effectiveness in propagating three different types of information (color, artistic style, and object segmentation). A progressive propagation strategy with pseudo labels is also proposed to enhance DVP's performance on video propagation. Our source codes are publicly available at https://github.com/ChenyangLEI/deep-video-prior.
• Abstract（参考訳）: 各ビデオフレームに独立して画像処理アルゴリズムを適用すると、結果の映像に時間的矛盾が生じてしまう。 そこで本研究では,ブラインドビデオの時間的一貫性に対する新しい一般的アプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 従来の光学フローとの時間的一貫性を強制する手法と異なり,dvp(deep video prior)を用いたビデオ上で畳み込みニューラルネットワークを訓練することで時間的一貫性を実現することができる。 さらに,マルチモーダル不整合問題に対処するために,注意深く設計した反復的重み付けトレーニング戦略を提案する。 ビデオ上での7つのコンピュータビジョンタスクに対するアプローチの有効性を示す。 広汎な定量的および知覚的実験により,目視ビデオの時間的一貫性に関する最先端手法よりも優れた性能が得られることが示された。 さらに,dvpを映像伝搬に拡張し,その効果を3種類の情報(色,芸術的スタイル,オブジェクトのセグメンテーション)で実証する。 また,ビデオ伝搬におけるdvpの性能を高めるために,擬似ラベルを用いたプログレッシブ伝播戦略も提案されている。 ソースコードはhttps://github.com/ChenyangLEI/deep-video-prior.comで公開されています。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
  本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
  2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。 我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
  論文  参考訳（メタデータ） (2021-02-04T17:28:35Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• Self-supervised Video Representation Learning by Pace Prediction [48.029602040786685]
  本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 人間の視覚系がビデオのペースに敏感であるという観察に由来する。 我々は、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するよう依頼する。
  論文  参考訳（メタデータ） (2020-08-13T12:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。