論文の概要: DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement

• arxiv url: http://arxiv.org/abs/2009.08692v1
• Date: Fri, 18 Sep 2020 08:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 03:24:08.492568
• Title: DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement
• Title（参考訳）: DeepRemaster: 総合的なビデオエンハンスメントのための時間的ソース参照アテンションネットワーク
• Authors: Satoshi Iizuka and Edgar Simo-Serra
• Abstract要約: 本稿では,リマスタータスク全体を半対話的に行うためのフレームワークを提案する。 我々の研究は、時間的畳み込みニューラルネットワークをベースとし、データ駆動劣化シミュレーションによるビデオ上での注意機構を訓練した。
• 参考スコア（独自算出の注目度）: 32.679447725129165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remastering of vintage film comprises of a diversity of sub-tasks including super-resolution, noise removal, and contrast enhancement which aim to restore the deteriorated film medium to its original state. Additionally, due to the technical limitations of the time, most vintage film is either recorded in black and white, or has low quality colors, for which colorization becomes necessary. In this work, we propose a single framework to tackle the entire remastering task semi-interactively. Our work is based on temporal convolutional neural networks with attention mechanisms trained on videos with data-driven deterioration simulation. Our proposed source-reference attention allows the model to handle an arbitrary number of reference color images to colorize long videos without the need for segmentation while maintaining temporal consistency. Quantitative analysis shows that our framework outperforms existing approaches, and that, in contrast to existing approaches, the performance of our framework increases with longer videos and more reference color images.
• Abstract（参考訳）: 劣化したフィルム媒体を元の状態に戻すことを目的とした超解像、ノイズ除去、コントラスト増強を含むサブタスクの多様性を含むヴィンテージフィルムのリマスター。 また、当時の技術上の制約により、ほとんどのヴィンテージフィルムは黒と白で記録されるか、質の低い色で彩色する必要がある。 本稿では,リマスタータスク全体を半インタラクティブに扱うためのフレームワークを提案する。 我々の研究は、時間的畳み込みニューラルネットワークをベースとし、データ駆動劣化シミュレーションによるビデオ上での注意機構を訓練した。 提案したソース参照アテンションにより,時間的整合性を維持しつつ,長いビデオの分割を必要とせず,任意の数の参照カラーイメージを扱える。 定量的分析により,既存のアプローチよりもフレームワークの方が優れており,従来のアプローチとは対照的に,長いビデオや参照カラー画像でフレームワークの性能が向上することが示された。

関連論文リスト

• VanGogh: A Unified Multimodal Diffusion-based Framework for Video Colorization [53.35016574938809]
  ビデオのカラー化は、時間的一貫性と構造的整合性を維持しながら、グレースケールのビデオを鮮やかな色表現に変換することを目的としている。 既存のビデオカラー化法は、しばしば色出血に悩まされ、包括的な制御が欠如している。 我々はVanGoghを紹介した。VanGoghはビデオカラー化のためのマルチモーダル拡散に基づく統合フレームワークである。
  論文  参考訳（メタデータ） (2025-01-16T12:20:40Z)
• SVFR: A Unified Framework for Generalized Video Face Restoration [86.17060212058452]
  顔復元(FR)は画像およびビデオ処理において重要な領域であり、劣化した入力から高品質な肖像画を再構成することに焦点を当てている。 本稿では,映像BFR,インペイント,カラー化タスクを統合した汎用映像顔復元タスクを提案する。 この研究は、ビデオFRにおける最先端技術を進め、一般化されたビデオ顔の復元のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-01-02T12:51:20Z)
• LVCD: Reference-based Lineart Video Colorization with Diffusion Models [18.0983825973013]
  参照型リニアトビデオのカラー化のための第1のビデオ拡散フレームワークを提案する。 我々は、大規模な事前学習ビデオ拡散モデルを利用して、カラー化されたアニメーションビデオを生成する。 提案手法は高品質で長時間の時間一貫性のあるアニメーションビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-09-19T17:59:48Z)
• LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
  ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。 既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。 我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
  論文  参考訳（メタデータ） (2024-05-09T12:06:06Z)
• FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
  フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。 ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
  論文  参考訳（メタデータ） (2023-05-23T05:41:53Z)
• Temporal Consistent Automatic Video Colorization via Semantic Correspondence [12.107878178519128]
  本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
  論文  参考訳（メタデータ） (2023-05-13T12:06:09Z)
• Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning [90.38674162878496]
  時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。 TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。 実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-09T13:00:14Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)
• Learning Joint Spatial-Temporal Transformations for Video Inpainting [58.939131620135235]
  本稿では,ビデオインペイントのためのSTTN (Spatial-Temporal Transformer Network) を提案する。 我々は,全ての入力フレームの欠落領域を自己注意で同時に埋めるとともに,空間空間的対角損失によるSTTNの最適化を提案する。
  論文  参考訳（メタデータ） (2020-07-20T16:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。