論文の概要: VCGAN: Video Colorization with Hybrid Generative Adversarial Network
- arxiv url: http://arxiv.org/abs/2104.12357v2
- Date: Sun, 7 May 2023 14:22:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 01:30:50.765745
- Title: VCGAN: Video Colorization with Hybrid Generative Adversarial Network
- Title（参考訳）: VCGAN:ハイブリッド世代対応ネットワークによるビデオカラー化
- Authors: Yuzhi Zhao, Lai-Man Po, Wing-Yin Yu, Yasar Abbas Ur Rehman, Mengyang
Liu, Yujia Zhang, Weifeng Ou
- Abstract要約: ハイブリッド生成適応ネットワーク(VCGAN)によるハイブリッド映像のカラー化は、エンドツーエンド学習を用いたカラー化への改良されたアプローチである。
実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
- 参考スコア（独自算出の注目度）: 22.45196398040388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a hybrid recurrent Video Colorization with Hybrid Generative
Adversarial Network (VCGAN), an improved approach to video colorization using
end-to-end learning. The VCGAN addresses two prevalent issues in the video
colorization domain: Temporal consistency and unification of colorization
network and refinement network into a single architecture. To enhance
colorization quality and spatiotemporal consistency, the mainstream of
generator in VCGAN is assisted by two additional networks, i.e., global feature
extractor and placeholder feature extractor, respectively. The global feature
extractor encodes the global semantics of grayscale input to enhance
colorization quality, whereas the placeholder feature extractor acts as a
feedback connection to encode the semantics of the previous colorized frame in
order to maintain spatiotemporal consistency. If changing the input for
placeholder feature extractor as grayscale input, the hybrid VCGAN also has the
potential to perform image colorization. To improve the consistency of far
frames, we propose a dense long-term loss that smooths the temporal disparity
of every two remote frames. Trained with colorization and temporal losses
jointly, VCGAN strikes a good balance between color vividness and video
continuity. Experimental results demonstrate that VCGAN produces higher-quality
and temporally more consistent colorful videos than existing approaches.
- Abstract（参考訳）: 本稿では,ビデオカラー化に対するエンドツーエンド学習による改良アプローチとして,vcgan(hybrid generative adversarial network)を用いたビデオカラー化のハイブリッド化を提案する。
vcganは、ビデオカラー化領域において、時間的一貫性とカラー化ネットワークの統合、ネットワークの洗練という2つの問題に対処している。
着色品質と時空間整合性を高めるため、VCGANのジェネレータの主流は、それぞれグローバル特徴抽出器とプレースホルダー特徴抽出器という2つの追加ネットワークによって支援される。
グローバル特徴抽出器はグレースケール入力のグローバルセマンティクスをエンコードし、カラー化品質を高めるが、プレースホルダ特徴抽出器は以前のカラー化フレームのセマンティクスをエンコードするフィードバック接続として働き、時空間的一貫性を維持する。
プレースホルダー特徴抽出器の入力をグレースケール入力として変更する場合、ハイブリッドVCGANは画像のカラー化を行うことができる。
遠方フレームの一貫性を向上させるために,2つのリモートフレーム間の時間的不一致を平滑化する高密度な長期損失を提案する。
カラー化と時間的損失を併用してトレーニングされたVCGANは、色鮮度とビデオ連続性のバランスが良好である。
実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
関連論文リスト
- Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
フィンスタは微細な構造的時間的アライメント学習法である。
既存の13の強化されたビデオ言語モデルも一貫して改善されている。
論文 参考訳（メタデータ） (2024-06-27T15:23:36Z) - LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。
既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。
我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
論文 参考訳（メタデータ） (2024-05-09T12:06:06Z) - Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T17:59:26Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳（メタデータ） (2023-12-11T18:54:52Z) - Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。
Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-08-17T16:40:55Z) - Histogram-guided Video Colorization Structure with Spatial-Temporal
Connection [10.059070138875038]
空間時間接続構造を用いたヒストグラム誘導映像色化(ST-HVC)
色覚と運動情報を十分に活用するために、関節血流とヒストグラムモジュールを調整し、ヒストグラムとフローの特徴を統合する。
提案手法は,2つのビデオデータセットにおいて,定量的かつ質的に優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-08-09T11:59:18Z) - Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。
本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-02T17:58:00Z) - FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。
ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
論文 参考訳（メタデータ） (2023-05-23T05:41:53Z) - Temporal Consistent Automatic Video Colorization via Semantic
Correspondence [12.107878178519128]
本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。
NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
論文 参考訳（メタデータ） (2023-05-13T12:06:09Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - Temporally Consistent Video Colorization with Deep Feature Propagation
and Self-regularization Learning [90.38674162878496]
時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。
TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。
実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
論文 参考訳（メタデータ） (2021-10-09T13:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。