論文の概要: Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement

• arxiv url: http://arxiv.org/abs/2310.18946v1
• Date: Sun, 29 Oct 2023 09:09:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:13:50.830715
• Title: Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement
• Title（参考訳）: 多対多のスプレイティングと空間選択化によるビデオフレーム補間
• Authors: Ping Hu, Simon Niklaus, Lu Zhang, Stan Sclaroff, Kate Saenko
• Abstract要約: 本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 83.60486465697318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we first propose a fully differentiable Many-to-Many (M2M) splatting framework to interpolate frames efficiently. Given a frame pair, we estimate multiple bidirectional flows to directly forward warp the pixels to the desired time step before fusing overlapping pixels. In doing so, each source pixel renders multiple target pixels and each target pixel can be synthesized from a larger area of visual context, establishing a many-to-many splatting scheme with robustness to undesirable artifacts. For each input frame pair, M2M has a minuscule computational overhead when interpolating an arbitrary number of in-between frames, hence achieving fast multi-frame interpolation. However, directly warping and fusing pixels in the intensity domain is sensitive to the quality of motion estimation and may suffer from less effective representation capacity. To improve interpolation accuracy, we further extend an M2M++ framework by introducing a flexible Spatial Selective Refinement (SSR) component, which allows for trading computational efficiency for interpolation quality and vice versa. Instead of refining the entire interpolated frame, SSR only processes difficult regions selected under the guidance of an estimated error map, thereby avoiding redundant computation. Evaluation on multiple benchmark datasets shows that our method is able to improve the efficiency while maintaining competitive video interpolation quality, and it can be adjusted to use more or less compute as needed.
• Abstract（参考訳）: 本稿では,まず,フレームを効率的に補間するための完全微分可能な多対多(m2m)スプレーティングフレームワークを提案する。 フレーム対が与えられると,複数の双方向流れを推定し,重なり合う画素を融合する前に,画素を所望の時間ステップに直進させる。 これにより、各ソースピクセルは複数のターゲットピクセルを描画し、各ターゲットピクセルはより広い視野から合成でき、望ましくないアーティファクトに対して堅牢性を備えた多対多のスプラッティングスキームが確立される。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドを極小にし、高速なマルチフレーム補間を実現する。 しかし、強度領域の画素を直接歪め、融合させることは、運動推定の品質に敏感であり、効率の悪い表現能力に悩まされる可能性がある。 補間精度を向上させるために、我々は、補間品質の計算効率を取引できるフレキシブルな空間選択精製(SSR)コンポーネントを導入することで、M2M++フレームワークをさらに拡張する。 補間フレーム全体を書き換える代わりに、SSRは推定誤差マップのガイダンスに基づいて選択された困難な領域のみを処理し、冗長な計算を避ける。 複数のベンチマークデータセットにおける評価結果から,本手法は競合映像補間品質を維持しつつ効率を向上でき,必要に応じて計算量を調整できることがわかった。

関連論文リスト

• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• Many-to-many Splatting for Efficient Video Frame Interpolation [80.10804399840927]
  モーションベースのビデオフレームは、入力から所望の瞬間までの画素をワープするための光学フローに依存している。 many-to-Many (M2M) スプレイティングフレームワークはフレームを効率的に補間する。 M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
  論文  参考訳（メタデータ） (2022-04-07T15:29:42Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Softmax Splatting for Video Frame Interpolation [14.815903726643011]
  異なる画像サンプリングは、深さ推定や光フロー予測といったタスクに広く採用されている。 本稿では,このパラダイムシフトに対処するソフトマックススプラッティングを提案し,フレーム幾何学の適用性を示す。 我々は,ソフトマックススプラッティングによる合成手法により,映像フレーム形状の最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-11T21:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。