論文の概要: Flow-Guided Video Inpainting with Scene Templates
- arxiv url: http://arxiv.org/abs/2108.12845v1
- Date: Sun, 29 Aug 2021 13:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 03:23:51.561340
- Title: Flow-Guided Video Inpainting with Scene Templates
- Title（参考訳）: シーンテンプレートによるフローガイド映像の描画
- Authors: Dong Lao, Peihao Zhu, Peter Wonka, Ganesh Sundaramoorthi
- Abstract要約: ビデオの時間的欠落領域を埋めることの問題点を考察する。
本研究では、シーンから画像へのマッピングと、シーンに関連する画像生成モデルを導入する。
このモデルを用いて、シーンテンプレート、シーンの2次元表現、マッピングを共同で推論する。
- 参考スコア（独自算出の注目度）: 57.12499174362993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of filling in missing spatio-temporal regions of a
video. We provide a novel flow-based solution by introducing a generative model
of images in relation to the scene (without missing regions) and mappings from
the scene to images. We use the model to jointly infer the scene template, a 2D
representation of the scene, and the mappings. This ensures consistency of the
frame-to-frame flows generated to the underlying scene, reducing geometric
distortions in flow based inpainting. The template is mapped to the missing
regions in the video by a new L2-L1 interpolation scheme, creating crisp
inpaintings and reducing common blur and distortion artifacts. We show on two
benchmark datasets that our approach out-performs state-of-the-art
quantitatively and in user studies.
- Abstract（参考訳）: ビデオの時空間的欠落を埋めることの問題点を考察する。
シーン(欠落領域を除く)に関連する画像の生成モデルを導入し、シーンから画像へのマッピングを導入することにより、新しいフローベースのソリューションを提供する。
このモデルを用いて,シーンテンプレート,シーンの2次元表現,マッピングを共同で推測する。
これにより、基盤となるシーンに発生するフレーム間フローの一貫性が確保され、フローベースのインパインティングにおける幾何学的歪みが低減される。
テンプレートは、新しいl2-l1補間スキームによって、ビデオの欠落した領域にマッピングされ、鮮明なインペインティングを生成し、共通のぼやけや歪みのアーティファクトを減らす。
2つのベンチマークデータセットにおいて,我々のアプローチが定量的かつユーザ研究において最先端を上回っていることを示す。
関連論文リスト
- GenWarp: Single Image to Novel Views with Semantic-Preserving Generative Warping [47.38125925469167]
一つの画像から新しいビューを生成するための意味保存型生成ワープフレームワークを提案する。
提案手法は,ソースビューイメージに生成モデルを条件付けすることで,既存の手法の限界に対処する。
我々のモデルは、ドメイン内シナリオとドメイン外シナリオの両方において、既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-05-27T15:07:04Z) - Semantically Consistent Video Inpainting with Conditional Diffusion Models [16.42354856518832]
本稿では,他のフレームに存在しない新しいコンテンツの合成を必要とする問題を解くための枠組みを提案する。
提案手法は, 空間的, 時間的, 意味論的に提供された文脈に整合した, 多様な, 高品質なインパインティングを生成し, 新たなコンテンツを合成することができることを示す。
論文 参考訳（メタデータ） (2024-04-30T23:49:26Z) - RecDiffusion: Rectangling for Image Stitching with Diffusion Models [53.824503710254206]
画像縫合整形のための新しい拡散学習フレームワーク textbfRecDiffusion を提案する。
このフレームワークは運動拡散モデル(MDM)を組み合わせて運動場を生成し、縫合された画像の不規則な境界から幾何学的に修正された中間体へ効果的に遷移する。
論文 参考訳（メタデータ） (2024-03-28T06:22:45Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-07-07T21:38:50Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳（メタデータ） (2023-06-13T17:52:23Z) - SceneGenie: Scene Graph Guided Diffusion Models for Image Synthesis [38.22195812238951]
拡散モデルにおけるサンプリングプロセスのための新しいガイダンス手法を提案する。
提案手法では,CLIP埋め込みのセマンティックな特徴によってモデルをガイドし,幾何学的制約を強制する。
本研究は,拡散モデルサンプリングプロセスにおいて,境界ボックスとセグメンテーションマップガイダンスを組み込むことの有効性を示した。
論文 参考訳（メタデータ） (2023-04-28T00:14:28Z) - Diffusion-Based Scene Graph to Image Generation with Masked Contrastive
Pre-Training [112.94542676251133]
画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。
具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。
SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
論文 参考訳（メタデータ） (2022-11-21T01:11:19Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳（メタデータ） (2020-08-12T18:16:08Z) - Learning Joint Spatial-Temporal Transformations for Video Inpainting [58.939131620135235]
本稿では,ビデオインペイントのためのSTTN (Spatial-Temporal Transformer Network) を提案する。
我々は,全ての入力フレームの欠落領域を自己注意で同時に埋めるとともに,空間空間的対角損失によるSTTNの最適化を提案する。
論文 参考訳（メタデータ） (2020-07-20T16:35:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。