論文の概要: OmnimatteRF: Robust Omnimatte with 3D Background Modeling

• arxiv url: http://arxiv.org/abs/2309.07749v1
• Date: Thu, 14 Sep 2023 14:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 12:43:13.102515
• Title: OmnimatteRF: Robust Omnimatte with 3D Background Modeling
• Title（参考訳）: OmnimatteRF:3次元背景モデリングによるロバストオムニマット
• Authors: Geng Lin, Chen Gao, Jia-Bin Huang, Changil Kim, Yipeng Wang, Matthias Zwicker, Ayush Saraf
• Abstract要約: 動的2次元前景層と3次元背景モデルを組み合わせた新しいビデオマッチング手法OmnimatteRFを提案する。 2Dレイヤーは被写体の詳細を保存し、3D背景は現実世界のビデオのシーンをしっかりと再構築する。
• 参考スコア（独自算出の注目度）: 42.844343885602214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video matting has broad applications, from adding interesting effects to casually captured movies to assisting video production professionals. Matting with associated effects such as shadows and reflections has also attracted increasing research activity, and methods like Omnimatte have been proposed to separate dynamic foreground objects of interest into their own layers. However, prior works represent video backgrounds as 2D image layers, limiting their capacity to express more complicated scenes, thus hindering application to real-world videos. In this paper, we propose a novel video matting method, OmnimatteRF, that combines dynamic 2D foreground layers and a 3D background model. The 2D layers preserve the details of the subjects, while the 3D background robustly reconstructs scenes in real-world videos. Extensive experiments demonstrate that our method reconstructs scenes with better quality on various videos.
• Abstract（参考訳）: ビデオマッティングは、カジュアルに撮られた映画に面白い効果を加えることや、ビデオ制作のプロフェッショナルを支援することなど、幅広い応用がある。 シャドウやリフレクションなどの関連した効果をマッティングする研究活動も増えており、omnimatteのような手法は、関心のある動的前景オブジェクトを自身の層に分離するために提案されている。 しかし、以前の作品では、ビデオの背景を2D画像層として表現しており、より複雑なシーンを表現できる能力に制限されているため、現実世界のビデオへの応用を妨げている。 本稿では,動的2次元フォアグラウンド層と3次元背景モデルを組み合わせた新しいビデオマットリング法omnimatterfを提案する。 2dレイヤーは被写体の詳細を保存し、3d背景は実世界ビデオのシーンを堅牢に再現する。 広範に実験した結果,本手法は映像の再現性が向上した。

関連論文リスト

• Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
  Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。 本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。 58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
  論文  参考訳（メタデータ） (2024-06-04T17:57:37Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• Text-To-4D Dynamic Scene Generation [111.89517759596345]
  テキスト記述から3次元動的シーンを生成するMAV3D(Make-A-Video3D)を提案する。 提案手法では, シーンの外観, 密度, 動きの整合性に最適化された4次元動的ニューラルラジアンス場(NeRF)を用いる。 提供されるテキストから出力されるダイナミックビデオは、任意のカメラの位置と角度から見ることができ、任意の3D環境に合成することができる。
  論文  参考訳（メタデータ） (2023-01-26T18:14:32Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)
• Layered Neural Atlases for Consistent Video Editing [37.69447642502351]
  本稿では,入力映像を層状2次元アトラスに分解する手法を提案する。 ビデオの各画素について,各アトラスの対応する2次元座標を推定する。 我々は、アトラスを解釈可能で意味論的に設計し、アトラス領域での簡単かつ直感的な編集を容易にする。
  論文  参考訳（メタデータ） (2021-09-23T14:58:59Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• Unsupervised object-centric video generation and decomposition in 3D [36.08064849807464]
  本研究では,複数の3Dオブジェクトと3D背景を持つシーンを移動しながら映像を映像としてモデル化することを提案する。 我々のモデルは、監督なしに単眼ビデオから訓練されるが、複数の動く物体を含むコヒーレントな3Dシーンを生成することを学ぶ。
  論文  参考訳（メタデータ） (2020-07-07T18:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。