論文の概要: Towards An End-to-End Framework for Flow-Guided Video Inpainting
- arxiv url: http://arxiv.org/abs/2204.02663v2
- Date: Thu, 7 Apr 2022 13:35:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 11:28:30.244728
- Title: Towards An End-to-End Framework for Flow-Guided Video Inpainting
- Title（参考訳）: Flow-Guided Video Inpaintingのためのエンドツーエンドフレームワーク
- Authors: Zhen Li, Cheng-Ze Lu, Jianhua Qin, Chun-Le Guo, Ming-Ming Cheng
- Abstract要約: フローガイド型ビデオインペインティングのためのエンドツーエンドフレームワーク(E$2$FGVI)を提案する。
提案手法は定性的かつ定量的に最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 68.71844500391023
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Optical flow, which captures motion information across frames, is exploited
in recent video inpainting methods through propagating pixels along its
trajectories. However, the hand-crafted flow-based processes in these methods
are applied separately to form the whole inpainting pipeline. Thus, these
methods are less efficient and rely heavily on the intermediate results from
earlier stages. In this paper, we propose an End-to-End framework for
Flow-Guided Video Inpainting (E$^2$FGVI) through elaborately designed three
trainable modules, namely, flow completion, feature propagation, and content
hallucination modules. The three modules correspond with the three stages of
previous flow-based methods but can be jointly optimized, leading to a more
efficient and effective inpainting process. Experimental results demonstrate
that the proposed method outperforms state-of-the-art methods both
qualitatively and quantitatively and shows promising efficiency. The code is
available at https://github.com/MCG-NKU/E2FGVI.
- Abstract（参考訳）: フレーム間の動き情報をキャプチャする光フローは、その軌跡に沿ってピクセルを伝播させることにより、最近のビデオインペイント手法で利用される。
しかし、これらの手法における手作りフローベースプロセスは、塗装パイプライン全体を形成するために別々に適用される。
したがって、これらの手法は効率が低く、初期の中間的な結果に大きく依存する。
本稿では,フロー完了,特徴伝達,コンテンツ幻覚モジュールという3つの学習モジュールを精巧に設計し,フロー誘導型ビデオインペインティング(e$^2$fgvi)のエンドツーエンドフレームワークを提案する。
3つのモジュールは、以前のフローベース手法の3つの段階に対応するが、共同最適化が可能であり、より効率的で効果的な塗布プロセスをもたらす。
実験の結果,提案手法は定性的かつ定量的に最先端手法を上回っており,有望な効率性を示している。
コードはhttps://github.com/mcg-nku/e2fgviで入手できる。
関連論文リスト
- OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。
本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。
提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-06-14T13:16:18Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Online Lane Graph Extraction from Onboard Video [133.68032636906133]
オンボードカメラからの映像ストリームを、周囲のレーングラフのオンライン抽出に使用しています。
入力が1つの画像ではなくビデオを使うことは、異なるタイムステップからの情報を組み合わせることのメリットと課題の両方をもたらす。
提案手法の1つのモデルでは、1つを含む任意の数の画像を処理し、正確なレーングラフを生成することができる。
論文 参考訳（メタデータ） (2023-04-03T12:36:39Z) - Error Compensation Framework for Flow-Guided Video Inpainting [36.626793485786095]
フロー誘導型ビデオインペインティング(ECFVI)における誤り補償フレームワークを提案する。
提案手法は,映像の時間的一貫性と視覚的品質を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-21T10:02:57Z) - Video Frame Interpolation via Structure-Motion based Iterative Fusion [19.499969588931414]
映像フレーム補間のための構造運動に基づく反復融合法を提案する。
観客が前景や背景の物体に対して異なる視覚的嗜好を持つという観察に触発されて,私たちは初めて,映像フレーム補間作業の評価プロセスにサリエンシマスクを使うことを提案する。
論文 参考訳（メタデータ） (2021-05-11T22:11:17Z) - FineNet: Frame Interpolation and Enhancement for Face Video Deblurring [18.49184807837449]
この作品の目的は、顔のビデオを破壊することです。
本稿では,(1)ぼやけたフレームの強化,(2)ぼやけたフレームを欠落した値として扱い,目的によって見積もる方法を提案する。
3つの実および合成ビデオデータセットを用いた実験により,本手法が従来の最先端手法よりも定量的および質的結果において大きな差を示した。
論文 参考訳（メタデータ） (2021-03-01T09:47:16Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z) - Flow-edge Guided Video Completion [66.49077223104533]
従来のフローコンプリート法は、しばしば運動境界のシャープさを維持することができない。
提案手法は,まず動きエッジを抽出し,その後,鋭いエッジで平滑な流れ完了を導出する。
論文 参考訳（メタデータ） (2020-09-03T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。