論文の概要: Color-aware Deep Temporal Backdrop Duplex Matting System

• arxiv url: http://arxiv.org/abs/2306.02954v1
• Date: Mon, 5 Jun 2023 15:20:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:23:39.242522
• Title: Color-aware Deep Temporal Backdrop Duplex Matting System
• Title（参考訳）: カラーアウェア深部時間背景二重マットリングシステム
• Authors: Hendrik Hachmann and Bodo Rosenhahn
• Abstract要約: そこで本研究では,クロマキーとアルファマッティングの利点を組み合わせた時間多重背景生成システムを提案する。 提案するスタジオセットはアクターフレンドリーであり、高品質で時間的に一貫したアルファとカラー推定を生成する。
• 参考スコア（独自算出の注目度）: 26.114550071165628
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning-based alpha matting showed tremendous improvements in recent years, yet, feature film production studios still rely on classical chroma keying including costly post-production steps. This perceived discrepancy can be explained by some missing links necessary for production which are currently not adequately addressed in the alpha matting community, in particular foreground color estimation or color spill compensation. We propose a neural network-based temporal multi-backdrop production system that combines beneficial features from chroma keying and alpha matting. Given two consecutive frames with different background colors, our one-encoder-dual-decoder network predicts foreground colors and alpha values using a patch-based overlap-blend approach. The system is able to handle imprecise backdrops, dynamic cameras, and dynamic foregrounds and has no restrictions on foreground colors. We compare our method to state-of-the-art algorithms using benchmark datasets and a video sequence captured by a demonstrator setup. We verify that a dual backdrop input is superior to the usually applied trimap-based approach. In addition, the proposed studio set is actor friendly, and produces high-quality, temporal consistent alpha and color estimations that include a superior color spill compensation.
• Abstract（参考訳）: 深層学習ベースのアルファマッティングは近年大幅に改善されているが、映画製作スタジオはコストのかかるポストプロダクションステップを含む古典的なクロマキーに依存している。 この不一致は、現在アルファマッティングコミュニティで適切に対処されていない生産に必要ないくつかの欠落リンク、特に前景の色推定や色こぼれ補償によって説明できる。 そこで我々は,クロマキーとアルファマッティングの利点を組み合わせ,ニューラルネットワークに基づく時間的マルチ背景生成システムを提案する。 背景色が異なる2つの連続フレームが与えられると、ワンエンコーダ・ダイアルデコーダネットワークはパッチベースのオーバーラップブレンドアプローチで前景色とアルファ値を予測する。 このシステムは、不正確な背景、ダイナミックカメラ、ダイナミックフォアグラウンドを処理でき、フォアグラウンドカラーに制限がない。 本手法を,ベンチマークデータセットとデモンストレータ設定でキャプチャしたビデオシーケンスを用いて,最先端アルゴリズムと比較する。 二重背景入力が通常適用されるトリマップ方式よりも優れていることを検証する。 さらに、提案するスタジオセットはアクターフレンドリーであり、高品質で時間的整合性のあるアルファと色推定を行い、優れた色引き補正を含む。

関連論文リスト

• LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
  ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。 既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。 我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
  論文  参考訳（メタデータ） (2024-05-09T12:06:06Z)
• Improving Video Colorization by Test-Time Tuning [79.67548221384202]
  テスト時間チューニングによる映像の着色性向上を目的とした,効果的な手法を提案する。 提案手法は,テスト中に追加のトレーニングサンプルを構築するための基準を利用して,PSNRにおいて平均13dBの性能向上を実現している。
  論文  参考訳（メタデータ） (2023-06-25T05:36:40Z)
• Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
  ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。 本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:58:00Z)
• FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
  フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。 ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
  論文  参考訳（メタデータ） (2023-05-23T05:41:53Z)
• Adaptive Human Matting for Dynamic Videos [62.026375402656754]
  Adaptive Matting for Dynamic VideosはAdaMと呼ばれ、背景と背景を同時に区別するフレームワークである。 この目的を達成するために、2つの相互接続ネットワーク設計が採用されている。 提案手法が最近導入したデータセットをベンチマークし,検討した結果,行列が新たなクラス内でのベスト・イン・クラス・ジェネリザビリティを実現することがわかった。
  論文  参考訳（メタデータ） (2023-04-12T17:55:59Z)
• BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
  本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。 まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。 我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
  論文  参考訳（メタデータ） (2022-12-05T13:47:15Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning [90.38674162878496]
  時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。 TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。 実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-09T13:00:14Z)
• Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
  本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。 中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。 本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
  論文  参考訳（メタデータ） (2021-05-24T17:34:57Z)
• VCGAN: Video Colorization with Hybrid Generative Adversarial Network [22.45196398040388]
  ハイブリッド生成適応ネットワーク(VCGAN)によるハイブリッド映像のカラー化は、エンドツーエンド学習を用いたカラー化への改良されたアプローチである。 実験の結果,VCGANは既存の手法よりも高品質で時間的に一貫したカラービデオを生成することがわかった。
  論文  参考訳（メタデータ） (2021-04-26T05:50:53Z)
• $F$, $B$, Alpha Matting [0.0]
  我々は,前景や背景の色を予測するために,アルファ・マッティング・ネットワークの低コストな修正を提案する。 提案手法は, アルファマットと合成色質のためのAdobe composition-1kデータセット上で, アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2020-03-17T13:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。