論文の概要: Real-Time High-Resolution Background Matting

• arxiv url: http://arxiv.org/abs/2012.07810v1
• Date: Mon, 14 Dec 2020 18:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 20:01:09.539115
• Title: Real-Time High-Resolution Background Matting
• Title（参考訳）: リアルタイム高分解能背景マッチング
• Authors: Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, and Ira Kemelmacher-Shlizerman
• Abstract要約: 4k解像度で30fps、最新のgpuで60fpsのhdで動作する、リアルタイムで高解像度なバックグラウンド置換技術を導入する。 提案手法は,従来の背景組立技術と比較して品質が向上し,同時に速度と解像度の両面で劇的な向上が得られた。
• 参考スコア（独自算出の注目度）: 19.140664310700107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a real-time, high-resolution background replacement technique which operates at 30fps in 4K resolution, and 60fps for HD on a modern GPU. Our technique is based on background matting, where an additional frame of the background is captured and used in recovering the alpha matte and the foreground layer. The main challenge is to compute a high-quality alpha matte, preserving strand-level hair details, while processing high-resolution images in real-time. To achieve this goal, we employ two neural networks; a base network computes a low-resolution result which is refined by a second network operating at high-resolution on selective patches. We introduce two largescale video and image matting datasets: VideoMatte240K and PhotoMatte13K/85. Our approach yields higher quality results compared to the previous state-of-the-art in background matting, while simultaneously yielding a dramatic boost in both speed and resolution.
• Abstract（参考訳）: 最新のGPUでは、30fpsの4K解像度で、60fpsのHDで動作するリアルタイム、高解像度のバックグラウンド置換技術を導入する。 本手法は,アルファマットと前景層を復元するために,背景の付加的なフレームを捕捉し,使用するバックグラウンド・マッティングに基づく。 主な課題は、高品質のアルファマットを計算し、ストランドレベルの毛髪の詳細を保存し、高解像度の画像をリアルタイムで処理することだ。 この目的を達成するために,2つのニューラルネットワークを用いる。ベースネットワークは,選択的パッチで高分解能で動作する第2のネットワークによって洗練された低解像度の結果を計算する。 我々は,videomatte240k と photomatte13k/85 の2つの大規模ビデオおよび画像マットングデータセットを紹介する。 提案手法は,従来の背景組立技術と比較して品質が向上し,同時に速度と解像度の両面で劇的な向上が得られた。

関連論文リスト

• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• DART: Depth-Enhanced Accurate and Real-Time Background Matting [11.78381754863757]
  静的な背景を持つマッティングは、しばしばバックグラウンド・マッティング(BGM)と呼ばれ、コンピュータビジョンコミュニティ内で大きな注目を集めている。 我々は,RGB-Dカメラによって提供される豊富な深度情報を活用し,リアルタイムの背景マッチング性能を向上させる。
  論文  参考訳（メタデータ） (2024-02-24T14:10:17Z)
• CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying [52.91778151771145]
  本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。 実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T11:13:51Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference [0.0]
  本稿では,メモリフットプリントの高速化と小型化を実現したアーキテクチャを提案する。 リアルタイムの超解像度により、帯域幅の低い条件下でも高解像度のメディアコンテンツをストリーミングできる。
  論文  参考訳（メタデータ） (2021-11-29T04:20:15Z)
• Robust High-Resolution Video Matting with Temporal Guidance [14.9739044990367]
  我々は,新しい最先端性能を実現する,堅牢でリアルタイム,高解像度のヒューマンビデオマッチング手法を提案する。 提案手法は従来手法よりもはるかに軽量であり,Nvidia GTX 1080Ti GPU上で4Kを76FPSで,HDを104FPSで処理することができる。
  論文  参考訳（メタデータ） (2021-08-25T23:48:15Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
  本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。 中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。 本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
  論文  参考訳（メタデータ） (2021-05-24T17:34:57Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• High-Resolution Deep Image Matting [39.72708676319803]
  HDMattは、高解像度入力のための最初のディープラーニングベースの画像マッチングアプローチである。 提案手法は,Adobe Image Matting と AlphaMatting のベンチマーク上で,最先端の性能を新たに設定する。
  論文  参考訳（メタデータ） (2020-09-14T17:53:15Z)
• Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting [12.839962012888199]
  そこで本稿では,CRA(Contextual Residual Aggregation)機構を提案する。 CRA機構は、コンテキストパッチからの残基の重み付けにより、欠落した内容に対して高周波残基を生成する。 提案手法は,解像度512×512の小型画像に対して学習し,高解像度画像に対する推論を行い,良好な塗装品質を実現する。
  論文  参考訳（メタデータ） (2020-05-19T18:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。