論文の概要: DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement

• arxiv url: http://arxiv.org/abs/2009.08692v1
• Date: Fri, 18 Sep 2020 08:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 03:24:08.492568
• Title: DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement
• Title（参考訳）: DeepRemaster: 総合的なビデオエンハンスメントのための時間的ソース参照アテンションネットワーク
• Authors: Satoshi Iizuka and Edgar Simo-Serra
• Abstract要約: 本稿では,リマスタータスク全体を半対話的に行うためのフレームワークを提案する。 我々の研究は、時間的畳み込みニューラルネットワークをベースとし、データ駆動劣化シミュレーションによるビデオ上での注意機構を訓練した。
• 参考スコア（独自算出の注目度）: 32.679447725129165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remastering of vintage film comprises of a diversity of sub-tasks including super-resolution, noise removal, and contrast enhancement which aim to restore the deteriorated film medium to its original state. Additionally, due to the technical limitations of the time, most vintage film is either recorded in black and white, or has low quality colors, for which colorization becomes necessary. In this work, we propose a single framework to tackle the entire remastering task semi-interactively. Our work is based on temporal convolutional neural networks with attention mechanisms trained on videos with data-driven deterioration simulation. Our proposed source-reference attention allows the model to handle an arbitrary number of reference color images to colorize long videos without the need for segmentation while maintaining temporal consistency. Quantitative analysis shows that our framework outperforms existing approaches, and that, in contrast to existing approaches, the performance of our framework increases with longer videos and more reference color images.
• Abstract（参考訳）: 劣化したフィルム媒体を元の状態に戻すことを目的とした超解像、ノイズ除去、コントラスト増強を含むサブタスクの多様性を含むヴィンテージフィルムのリマスター。 また、当時の技術上の制約により、ほとんどのヴィンテージフィルムは黒と白で記録されるか、質の低い色で彩色する必要がある。 本稿では,リマスタータスク全体を半インタラクティブに扱うためのフレームワークを提案する。 我々の研究は、時間的畳み込みニューラルネットワークをベースとし、データ駆動劣化シミュレーションによるビデオ上での注意機構を訓練した。 提案したソース参照アテンションにより,時間的整合性を維持しつつ,長いビデオの分割を必要とせず,任意の数の参照カラーイメージを扱える。 定量的分析により,既存のアプローチよりもフレームワークの方が優れており,従来のアプローチとは対照的に,長いビデオや参照カラー画像でフレームワークの性能が向上することが示された。

関連論文リスト

• LVCD: Reference-based Lineart Video Colorization with Diffusion Models [18.0983825973013]
  参照型リニアトビデオのカラー化のための第1のビデオ拡散フレームワークを提案する。 我々は、大規模な事前学習ビデオ拡散モデルを利用して、カラー化されたアニメーションビデオを生成する。 提案手法は高品質で長時間の時間一貫性のあるアニメーションビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-09-19T17:59:48Z)
• LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
  ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。 既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。 我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
  論文  参考訳（メタデータ） (2024-05-09T12:06:06Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
  フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。 ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
  論文  参考訳（メタデータ） (2023-05-23T05:41:53Z)
• Temporal Consistent Automatic Video Colorization via Semantic Correspondence [12.107878178519128]
  本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
  論文  参考訳（メタデータ） (2023-05-13T12:06:09Z)
• Exemplar-based Video Colorization with Long-term Spatiotemporal Dependency [10.223719035434586]
  外見に基づく映像のカラー化は、古い映画復元のような応用に欠かせない技術である。 本稿では,長期間の時間依存性を考慮したビデオカラー化フレームワークを提案する。 我々のモデルは、特に物体が大きく不規則に変化する場面において、よりカラフルでリアルで安定した結果を生み出すことができる。
  論文  参考訳（メタデータ） (2023-03-27T10:45:00Z)
• Generating Long Videos of Dynamic Scenes [66.56925105992472]
  本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。 よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
  論文  参考訳（メタデータ） (2022-06-07T16:29:51Z)
• Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning [90.38674162878496]
  時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。 TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。 実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-09T13:00:14Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)
• Learning Joint Spatial-Temporal Transformations for Video Inpainting [58.939131620135235]
  本稿では,ビデオインペイントのためのSTTN (Spatial-Temporal Transformer Network) を提案する。 我々は,全ての入力フレームの欠落領域を自己注意で同時に埋めるとともに,空間空間的対角損失によるSTTNの最適化を提案する。
  論文  参考訳（メタデータ） (2020-07-20T16:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。