論文の概要: Internal Video Inpainting by Implicit Long-range Propagation

• arxiv url: http://arxiv.org/abs/2108.01912v1
• Date: Wed, 4 Aug 2021 08:56:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-05 13:18:48.271139
• Title: Internal Video Inpainting by Implicit Long-range Propagation
• Title（参考訳）: 急激な長距離伝搬による内部映像の塗装
• Authors: Hao Ouyang, Tengfei Wang, Qifeng Chen
• Abstract要約: 本稿では,内部学習戦略を取り入れた映像インパインティングのための新しいフレームワークを提案する。 畳み込みニューラルネットワークを既知の領域に適合させることにより、暗黙的に実現可能であることを示す。 提案手法を別の課題に拡張する: 4Kビデオの1フレームに1つの物体マスクを与えるビデオから物体を除去する学習。
• 参考スコア（独自算出の注目度）: 39.89676105875726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel framework for video inpainting by adopting an internal learning strategy. Unlike previous methods that use optical flow for cross-frame context propagation to inpaint unknown regions, we show that this can be achieved implicitly by fitting a convolutional neural network to the known region. Moreover, to handle challenging sequences with ambiguous backgrounds or long-term occlusion, we design two regularization terms to preserve high-frequency details and long-term temporal consistency. Extensive experiments on the DAVIS dataset demonstrate that the proposed method achieves state-of-the-art inpainting quality quantitatively and qualitatively. We further extend the proposed method to another challenging task: learning to remove an object from a video giving a single object mask in only one frame in a 4K video.
• Abstract（参考訳）: 本稿では,内部学習戦略を取り入れた映像インパインティングのための新しいフレームワークを提案する。 未知領域へのフレーム間コンテキスト伝搬に光学フローを用いる従来の手法とは異なり、畳み込みニューラルネットワークを既知の領域に適合させることで、暗黙的に実現可能であることを示す。 さらに,不明瞭な背景や長期閉塞を伴う難解なシーケンスを扱うために,高周波の詳細と時間的整合性を維持するために2つの正規化項を設計する。 DAVISデータセットの広範囲な実験により,提案手法は最先端の塗装品質を定量的に定性的に達成することを示した。 提案手法をさらに拡張し、4kビデオ中の1つのフレームに1つのオブジェクトマスクを付与するビデオからオブジェクトを削除することを学ぶ。

関連論文リスト

• Video Diffusion Models are Strong Video Inpainter [14.402778136825642]
  本稿では,FFF-VDI (First Frame Filling Video Diffusion Inpainting Model) を提案する。 我々は、将来のフレームのノイズ潜時情報を伝播して、第1フレームのノイズ潜時符号のマスク領域を埋める。 次に,事前学習した画像間拡散モデルを微調整し,インペイント映像を生成する。
  論文  参考訳（メタデータ） (2024-08-21T08:01:00Z)
• Semantically Consistent Video Inpainting with Conditional Diffusion Models [16.42354856518832]
  本稿では,条件付きビデオ拡散モデルを用いた問題解決フレームワークを提案する。 我々は,コンテキストにおける重要な長距離依存関係をキャプチャする塗装特化サンプリングスキームを導入する。 不完全フレーム中の既知の画素を条件付けするための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-04-30T23:49:26Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• Deep Video Inpainting Detection [95.36819088529622]
  映像インペインティング検出は、映像内のインペイント領域を空間的および時間的にローカライズする。 VIDNet, Video Inpainting Detection Networkは、注意モジュールを備えた2ストリームエンコーダデコーダアーキテクチャを含む。
  論文  参考訳（メタデータ） (2021-01-26T20:53:49Z)
• Short-Term and Long-Term Context Aggregation Network for Video Inpainting [126.06302824297948]
  Video Inpaintingは、ビデオの欠落した領域を復元することを目的としており、ビデオ編集やオブジェクト削除など多くのアプリケーションがある。 本稿では,映像インパインティングにおいて,短期・長期のフレーム情報を効果的に活用する新しいコンテキスト集約ネットワークを提案する。 実験により,最先端の手法よりも優れた塗布結果と高速塗布速度が得られた。
  論文  参考訳（メタデータ） (2020-09-12T03:50:56Z)
• Learning Joint Spatial-Temporal Transformations for Video Inpainting [58.939131620135235]
  本稿では,ビデオインペイントのためのSTTN (Spatial-Temporal Transformer Network) を提案する。 我々は,全ての入力フレームの欠落領域を自己注意で同時に埋めるとともに,空間空間的対角損失によるSTTNの最適化を提案する。
  論文  参考訳（メタデータ） (2020-07-20T16:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。