論文の概要: Temporal Consistent Automatic Video Colorization via Semantic
Correspondence
- arxiv url: http://arxiv.org/abs/2305.07904v1
- Date: Sat, 13 May 2023 12:06:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 19:01:04.725468
- Title: Temporal Consistent Automatic Video Colorization via Semantic
Correspondence
- Title(参考訳): セマンティック対応による時間一貫性自動ビデオカラー化
- Authors: Yu Zhang, Siqi Chen, Mingdao Wang, Xianlin Zhang, Chuang Zhu, Yue
Zhang, Xueming Li
- Abstract要約: 本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。
NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
- 参考スコア(独自算出の注目度): 12.107878178519128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video colorization task has recently attracted wide attention. Recent methods
mainly work on the temporal consistency in adjacent frames or frames with small
interval. However, it still faces severe challenge of the inconsistency between
frames with large interval.To address this issue, we propose a novel video
colorization framework, which combines semantic correspondence into automatic
video colorization to keep long-range consistency. Firstly, a reference
colorization network is designed to automatically colorize the first frame of
each video, obtaining a reference image to supervise the following whole
colorization process. Such automatically colorized reference image can not only
avoid labor-intensive and time-consuming manual selection, but also enhance the
similarity between reference and grayscale images. Afterwards, a semantic
correspondence network and an image colorization network are introduced to
colorize a series of the remaining frames with the help of the reference. Each
frame is supervised by both the reference image and the immediately colorized
preceding frame to improve both short-range and long-range temporal
consistency. Extensive experiments demonstrate that our method outperforms
other methods in maintaining temporal consistency both qualitatively and
quantitatively. In the NTIRE 2023 Video Colorization Challenge, our method
ranks at the 3rd place in Color Distribution Consistency (CDC) Optimization
track.
- Abstract(参考訳): 近年,ビデオカラー化作業が注目されている。
近年の手法では,隣接するフレームやフレームの時間的一貫性に重点が置かれている。
しかし,大きな間隔でフレーム間の不整合に直面する深刻な問題に直面しており,この問題を解決するために,セマンティック対応と自動ビデオカラー化を組み合わせて長距離一貫性を維持する新しい映像カラー化フレームワークを提案する。
まず、参照着色ネットワークは、各ビデオの第1フレームを自動的に着色するように設計され、参照画像を取得し、以下の全着色プロセスを監督する。
このような自動カラー化基準画像は、作業集約的かつ時間のかかる手動選択を回避できるだけでなく、参照画像とグレースケール画像の類似性を高めることができる。
その後、セマンティック対応ネットワークと画像カラー化ネットワークを導入し、参照の助けを借りて残りのフレームの一連の色付けを行う。
各フレームは、参照画像と即座に彩色された先行フレームの両方で監督され、短距離と長距離の時間的一貫性が向上する。
広範な実験により,本手法は定性的および定量的に時間的一貫性を維持する他の手法よりも優れていることが示された。
NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
関連論文リスト
- VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。
本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
論文 参考訳(メタデータ) (2023-12-17T09:05:56Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳(メタデータ) (2023-06-13T17:52:23Z) - Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。
本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-02T17:58:00Z) - FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。
ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
論文 参考訳(メタデータ) (2023-05-23T05:41:53Z) - Self-Supervised Correspondence Estimation via Multiview Registration [88.99287381176094]
ビデオは、視覚学習に必要な同期時間一貫性を提供します。
近年のアプローチでは、この信号を用いて、近接フレーム対からの対応推定を学習している。
短いRGB-Dビデオシーケンスにおけるマルチビュー一貫性から学習する対応推定のための自己教師付きアプローチを提案する。
論文 参考訳(メタデータ) (2022-12-06T18:59:02Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳(メタデータ) (2022-12-05T13:47:15Z) - Temporally Consistent Video Colorization with Deep Feature Propagation
and Self-regularization Learning [90.38674162878496]
時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。
TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。
実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
論文 参考訳(メタデータ) (2021-10-09T13:00:14Z) - VCGAN: Video Colorization with Hybrid Generative Adversarial Network [22.45196398040388]
ハイブリッド生成適応ネットワーク(VCGAN)によるハイブリッド映像のカラー化は、エンドツーエンド学習を用いたカラー化への改良されたアプローチである。
実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
論文 参考訳(メタデータ) (2021-04-26T05:50:53Z) - Reference-Based Video Colorization with Spatiotemporal Correspondence [8.472559058510205]
時間対応を考慮した参照型ビデオカラー化フレームワークを提案する。
色を参照するために時間的関連領域を制限することで、ビデオ全体を通して忠実な色を伝播する。
論文 参考訳(メタデータ) (2020-11-25T05:47:38Z) - Deep Line Art Video Colorization with a Few References [49.7139016311314]
そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。
本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。
本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
論文 参考訳(メタデータ) (2020-03-24T06:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。