論文の概要: Many-to-many Splatting for Efficient Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2204.03513v1
• Date: Thu, 7 Apr 2022 15:29:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 20:13:49.172513
• Title: Many-to-many Splatting for Efficient Video Frame Interpolation
• Title（参考訳）: 効率的なフレーム補間のための多対多スプレーティング
• Authors: Ping Hu, Simon Niklaus, Stan Sclaroff, Kate Saenko
• Abstract要約: モーションベースのビデオフレームは、入力から所望の瞬間までの画素をワープするための光学フローに依存している。 many-to-Many (M2M) スプレイティングフレームワークはフレームを効率的に補間する。 M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
• 参考スコア（独自算出の注目度）: 80.10804399840927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motion-based video frame interpolation commonly relies on optical flow to warp pixels from the inputs to the desired interpolation instant. Yet due to the inherent challenges of motion estimation (e.g. occlusions and discontinuities), most state-of-the-art interpolation approaches require subsequent refinement of the warped result to generate satisfying outputs, which drastically decreases the efficiency for multi-frame interpolation. In this work, we propose a fully differentiable Many-to-Many (M2M) splatting framework to interpolate frames efficiently. Specifically, given a frame pair, we estimate multiple bidirectional flows to directly forward warp the pixels to the desired time step, and then fuse any overlapping pixels. In doing so, each source pixel renders multiple target pixels and each target pixel can be synthesized from a larger area of visual context. This establishes a many-to-many splatting scheme with robustness to artifacts like holes. Moreover, for each input frame pair, M2M only performs motion estimation once and has a minuscule computational overhead when interpolating an arbitrary number of in-between frames, hence achieving fast multi-frame interpolation. We conducted extensive experiments to analyze M2M, and found that it significantly improves efficiency while maintaining high effectiveness.
• Abstract（参考訳）: モーションベースのビデオフレーム補間は通常、入力から所望の補間インスタントにピクセルをゆがめるために光フローに依存する。 しかし、運動推定の固有の課題(例えば、咬合や不連続など)により、ほとんどの最先端の補間アプローチでは、後続の結果を改良して満足のいく出力を生成する必要があり、マルチフレーム補間の効率が劇的に低下する。 本研究では,フレームを効率的に補間するための完全微分可能な多対多(m2m)スプレーティングフレームワークを提案する。 具体的には、フレーム対が与えられた場合、複数の双方向フローを推定し、画素を直接所望の時間ステップにワープし、重なり合うピクセルを融合させる。 これにより、各ソースピクセルは複数のターゲット画素をレンダリングし、各ターゲットピクセルはより広い視野の視覚的コンテキストから合成することができる。 これにより、穴のようなアーティファクトに対して堅牢な多対多のスメッティングスキームが確立される。 さらに、各入力フレーム対に対して、M2Mは1回のみ動作推定を行い、任意の数のフレーム間を補間する際の計算オーバーヘッドを極小にするので、高速なマルチフレーム補間を実現する。 m2m分析のために広範な実験を行い,高い効率を維持しつつ効率を大幅に向上させることがわかった。

関連論文リスト

• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement [83.60486465697318]
  本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-10-29T09:09:32Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
  本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。 MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
  論文  参考訳（メタデータ） (2022-07-27T08:57:48Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。