論文の概要: Bringing Old Films Back to Life

• arxiv url: http://arxiv.org/abs/2203.17276v1
• Date: Thu, 31 Mar 2022 17:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 16:12:27.855867
• Title: Bringing Old Films Back to Life
• Title（参考訳）: 古い映画を生き返らせる
• Authors: Ziyu Wan and Bo Zhang and Dongdong Chen and Jing Liao
• Abstract要約: 本稿では,過度に劣化した古いフィルムを復元するために,RTN(Recurrent Transformer Network)という学習ベースのフレームワークを提案する。 本手法は,隠蔽に関する豊富な情報を含む隣接フレームから学習した隠れ知識に基づいている。
• 参考スコア（独自算出の注目度）: 33.78936333249432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a learning-based framework, recurrent transformer network (RTN), to restore heavily degraded old films. Instead of performing frame-wise restoration, our method is based on the hidden knowledge learned from adjacent frames that contain abundant information about the occlusion, which is beneficial to restore challenging artifacts of each frame while ensuring temporal coherency. Moreover, contrasting the representation of the current frame and the hidden knowledge makes it possible to infer the scratch position in an unsupervised manner, and such defect localization generalizes well to real-world degradations. To better resolve mixed degradation and compensate for the flow estimation error during frame alignment, we propose to leverage more expressive transformer blocks for spatial restoration. Experiments on both synthetic dataset and real-world old films demonstrate the significant superiority of the proposed RTN over existing solutions. In addition, the same framework can effectively propagate the color from keyframes to the whole video, ultimately yielding compelling restored films. The implementation and model will be released at https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.
• Abstract（参考訳）: 高度に劣化した古いフィルムを復元するための学習ベースのフレームワークであるrecurrent transformer network(rtn)を提案する。 本手法は, フレーム単位の復元を行う代わりに, 閉鎖に関する豊富な情報を含む隣接フレームから学習した隠れ知識に基づいて, 時間的整合性を確保しつつ, 各フレームの難解なアーティファクトの復元に有用である。 また、現在のフレームの表現と隠れた知識との対比により、スクラッチ位置を教師なしで推測することができ、そのような欠陥局在は実世界の劣化によく一般化する。 混合劣化の解消とフレームアライメント時の流量推定誤差の補正に際し,より表現力に富んだトランスフォーマブロックを用いた空間復元を提案する。 合成データセットと実世界の古いフィルムの両方の実験は、既存のソリューションよりも提案されたRTNの顕著な優位性を示している。 さらに、同じ枠組みがキーフレームからビデオ全体へ効果的に色を伝播させ、最終的に説得力のある復元フィルムを生み出す。 実装とモデルはhttps://github.com/raywzy/Bringing-Old-Films-Back-to-Lifeでリリースされる。

関連論文リスト

• Learning to Remove Wrinkled Transparent Film with Polarized Prior [33.56569839317172]
  フィルム除去(FR)は、透明フィルムの干渉を除去し、産業認識のためのフィルムの下で元の情報を再構築しようとする試みである。 透明フィルムとペアデータを含む偏光情報を用いた実用的なデータセットを構築した。 エンド・ツー・エンドの枠組みでフィルムからの干渉(特殊ハイライトなど劣化)を除去することを目的としている。
  論文  参考訳（メタデータ） (2024-03-07T09:56:56Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Dual-Stream Knowledge-Preserving Hashing for Unsupervised Video Retrieval [67.52910255064762]
  時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 まず、時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 自己スーパービジョンから得られたセマンティック類似性知識の助けを借りて、ハッシュ層はセマンティック検索のための情報を取得することを学習する。 このようにして、モデルは自然に二進的なコードに絡み合ったセマンティクスを保存します。
  論文  参考訳（メタデータ） (2023-10-12T03:21:12Z)
• RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
  GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。 既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。 我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。 本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2023-08-11T12:17:24Z)
• Making Reconstruction-based Method Great Again for Video Anomaly Detection [64.19326819088563]
  ビデオの異常検出は重要な問題だが、難しい問題だ。 既存の再構成に基づく手法は、昔ながらの畳み込みオートエンコーダに依存している。 連続フレーム再構築のための新しいオートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-28T01:57:57Z)
• Restoration of User Videos Shared on Social Media [27.16457737969977]
  ソーシャルメディアプラットフォーム上で共有されるユーザビデオは、通常、未知のプロプライエタリな処理手順によって引き起こされる劣化に悩まされる。 本稿では,ソーシャルメディアプラットフォーム上で共有されるユーザビデオの復元のための,新しい一般的なビデオ復元フレームワークを提案する。 エンド・ツー・エンドのマッピングを行う多くのディープラーニングベースのビデオ復元手法とは対照的に,新しい手法であるVOTES(adapTive dEgradation Sensing)によるビデオ復元では,ビデオ復元プロセスを明示的に導くための分解特徴マップ(DFM)の概念が導入されている。
  論文  参考訳（メタデータ） (2022-08-18T02:28:43Z)
• A Simple Baseline for Video Restoration with Grouped Spatial-temporal Shift [36.71578909392314]
  本研究では,ビデオ復元のための簡易かつ効果的なフレームワークを提案する。 我々のアプローチは、軽量で簡単な手法であるグループ化された時空間シフトに基づいている。 我々のフレームワークは従来の最先端手法よりも優れており、計算コストの4分の1以下である。
  論文  参考訳（メタデータ） (2022-06-22T02:16:47Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)
• Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression [29.716388163447345]
  グループ・オブ・ピクチャー(GoP)のサーベイランス・ビデオ機能(メモリ)と各フレーム(キュー)のスケルトン メモリは、GoPの内部に現れるオブジェクトの外観を記述するために、GoP内部のフレームを逐次、繰り返しのニューラルコーディングに入力することで得られる。 実験結果から,本手法は外観と骨格に基づく現実的な再構築を効果的に行うことが示唆された。
  論文  参考訳（メタデータ） (2019-12-30T08:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。