論文の概要: Temporal Consistent Automatic Video Colorization via Semantic Correspondence

• arxiv url: http://arxiv.org/abs/2305.07904v1
• Date: Sat, 13 May 2023 12:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 19:01:04.725468
• Title: Temporal Consistent Automatic Video Colorization via Semantic Correspondence
• Title（参考訳）: セマンティック対応による時間一貫性自動ビデオカラー化
• Authors: Yu Zhang, Siqi Chen, Mingdao Wang, Xianlin Zhang, Chuang Zhu, Yue Zhang, Xueming Li
• Abstract要約: 本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
• 参考スコア（独自算出の注目度）: 12.107878178519128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video colorization task has recently attracted wide attention. Recent methods mainly work on the temporal consistency in adjacent frames or frames with small interval. However, it still faces severe challenge of the inconsistency between frames with large interval.To address this issue, we propose a novel video colorization framework, which combines semantic correspondence into automatic video colorization to keep long-range consistency. Firstly, a reference colorization network is designed to automatically colorize the first frame of each video, obtaining a reference image to supervise the following whole colorization process. Such automatically colorized reference image can not only avoid labor-intensive and time-consuming manual selection, but also enhance the similarity between reference and grayscale images. Afterwards, a semantic correspondence network and an image colorization network are introduced to colorize a series of the remaining frames with the help of the reference. Each frame is supervised by both the reference image and the immediately colorized preceding frame to improve both short-range and long-range temporal consistency. Extensive experiments demonstrate that our method outperforms other methods in maintaining temporal consistency both qualitatively and quantitatively. In the NTIRE 2023 Video Colorization Challenge, our method ranks at the 3rd place in Color Distribution Consistency (CDC) Optimization track.
• Abstract（参考訳）: 近年,ビデオカラー化作業が注目されている。 近年の手法では,隣接するフレームやフレームの時間的一貫性に重点が置かれている。 しかし,大きな間隔でフレーム間の不整合に直面する深刻な問題に直面しており,この問題を解決するために,セマンティック対応と自動ビデオカラー化を組み合わせて長距離一貫性を維持する新しい映像カラー化フレームワークを提案する。 まず、参照着色ネットワークは、各ビデオの第1フレームを自動的に着色するように設計され、参照画像を取得し、以下の全着色プロセスを監督する。 このような自動カラー化基準画像は、作業集約的かつ時間のかかる手動選択を回避できるだけでなく、参照画像とグレースケール画像の類似性を高めることができる。 その後、セマンティック対応ネットワークと画像カラー化ネットワークを導入し、参照の助けを借りて残りのフレームの一連の色付けを行う。 各フレームは、参照画像と即座に彩色された先行フレームの両方で監督され、短距離と長距離の時間的一貫性が向上する。 広範な実験により,本手法は定性的および定量的に時間的一貫性を維持する他の手法よりも優れていることが示された。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。

関連論文リスト

• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• L-C4: Language-Based Video Colorization for Creative and Consistent Color [59.069498113050436]
  創造的・一貫性のある色(L-C4)のための言語ベースビデオカラー化を提案する。 我々のモデルは、事前訓練された相互モダリティ生成モデルに基づいて構築される。 本研究では,フリックやカラーシフトを防止するために時間的に変形可能な注意点と,長期のカラー一貫性を維持するためにクロスクリップ融合を提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:16:21Z)
• LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
  ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。 既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。 我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
  論文  参考訳（メタデータ） (2024-05-09T12:06:06Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
  ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。 本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:58:00Z)
• FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
  フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。 ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
  論文  参考訳（メタデータ） (2023-05-23T05:41:53Z)
• BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
  本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。 まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。 我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
  論文  参考訳（メタデータ） (2022-12-05T13:47:15Z)
• Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning [90.38674162878496]
  時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。 TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。 実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-09T13:00:14Z)
• VCGAN: Video Colorization with Hybrid Generative Adversarial Network [22.45196398040388]
  ハイブリッド生成適応ネットワーク(VCGAN)によるハイブリッド映像のカラー化は、エンドツーエンド学習を用いたカラー化への改良されたアプローチである。 実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
  論文  参考訳（メタデータ） (2021-04-26T05:50:53Z)
• Deep Line Art Video Colorization with a Few References [49.7139016311314]
  そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。 本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。 本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
  論文  参考訳（メタデータ） (2020-03-24T06:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。