論文の概要: BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization

• arxiv url: http://arxiv.org/abs/2212.02268v1
• Date: Mon, 5 Dec 2022 13:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 17:43:47.436188
• Title: BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization
• Title（参考訳）: BiSTNet:Deep Exemplar-based Video Colorizationのための双方向時間特徴融合を先導したセマンティック画像
• Authors: Yixin Yang, Zhongzheng Peng, Xiaoyu Du, Zhulin Tao, Jinhui Tang, Jinshan Pan
• Abstract要約: 本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。 まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。 我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
• 参考スコア（独自算出の注目度）: 70.14893481468525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to effectively explore the colors of reference exemplars and propagate them to colorize each frame is vital for exemplar-based video colorization. In this paper, we present an effective BiSTNet to explore colors of reference exemplars and utilize them to help video colorization by a bidirectional temporal feature fusion with the guidance of semantic image prior. We first establish the semantic correspondence between each frame and the reference exemplars in deep feature space to explore color information from reference exemplars. Then, to better propagate the colors of reference exemplars into each frame and avoid the inaccurate matches colors from exemplars we develop a simple yet effective bidirectional temporal feature fusion module to better colorize each frame. We note that there usually exist color-bleeding artifacts around the boundaries of the important objects in videos. To overcome this problem, we further develop a mixed expert block to extract semantic information for modeling the object boundaries of frames so that the semantic image prior can better guide the colorization process for better performance. In addition, we develop a multi-scale recurrent block to progressively colorize frames in a coarse-to-fine manner. Extensive experimental results demonstrate that the proposed BiSTNet performs favorably against state-of-the-art methods on the benchmark datasets. Our code will be made available at \url{https://yyang181.github.io/BiSTNet/}
• Abstract（参考訳）: 参照例の色を効果的に探索し、各フレームのカラー化を伝播する方法は、例によるビデオのカラー化に不可欠である。 本稿では,参照例の色彩を探索する有効なビストネットを提案し,それを利用して,先ず意味画像の指導と双方向の時間的特徴融合による映像カラー化を支援する。 まず,各フレームと参照例間の意味的対応を深層特徴空間で確立し,参照例から色情報を探索する。 次に,参照例の色彩を各フレームに伝達し,不正確な一致色を避けるために,簡易かつ効果的な双方向時相特徴融合モジュールを開発し,各フレームを色分けする。 ビデオの中の重要なオブジェクトの境界の周りには通常、色を流すアーティファクトが存在することに注意する。 この問題を解決するために,我々はさらに,フレームのオブジェクト境界をモデル化するための意味情報を抽出するための混合エキスパートブロックを開発した。 さらに,フレームを粗い方法で段階的に色づけするマルチスケールのリカレントブロックを開発した。 大規模な実験結果から,提案したBiSTNetは,ベンチマークデータセットの最先端手法に対して好意的に動作することが示された。 私たちのコードは \url{https://yyang181.github.io/BiSTNet/} で利用可能になります。

関連論文リスト

• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Improving Video Colorization by Test-Time Tuning [79.67548221384202]
  テスト時間チューニングによる映像の着色性向上を目的とした,効果的な手法を提案する。 提案手法は,テスト中に追加のトレーニングサンプルを構築するための基準を利用して,PSNRにおいて平均13dBの性能向上を実現している。
  論文  参考訳（メタデータ） (2023-06-25T05:36:40Z)
• Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
  ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。 本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:58:00Z)
• Temporal Consistent Automatic Video Colorization via Semantic Correspondence [12.107878178519128]
  本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
  論文  参考訳（メタデータ） (2023-05-13T12:06:09Z)
• Reference-Based Video Colorization with Spatiotemporal Correspondence [8.472559058510205]
  時間対応を考慮した参照型ビデオカラー化フレームワークを提案する。 色を参照するために時間的関連領域を制限することで、ビデオ全体を通して忠実な色を伝播する。
  論文  参考訳（メタデータ） (2020-11-25T05:47:38Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。