論文の概要: Splatting-based Synthesis for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2201.10075v1
• Date: Tue, 25 Jan 2022 03:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 15:42:00.235971
• Title: Splatting-based Synthesis for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のためのスティングベース合成
• Authors: Simon Niklaus, Ping Hu, Jiawen Chen
• Abstract要約: フレームワープを効果的に行う手法はスプラッティングに基づいている。 我々は,後の改良を伴わずに出力を合成するためにスプラッティングのみに頼ることを提案する。 このスプラッティングベースの合成は、特にマルチフレーム合成において、類似したアプローチよりもはるかに高速である。
• 参考スコア（独自算出の注目度）: 22.927938232020367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frame interpolation is an essential video processing technique that adjusts the temporal resolution of an image sequence. An effective approach to perform frame interpolation is based on splatting, also known as forward warping. Specifically, splatting can be used to warp the input images to an arbitrary temporal location based on an optical flow estimate. A synthesis network, also sometimes referred to as refinement network, can then be used to generate the output frame from the warped images. In doing so, it is common to not only warp the images but also various feature representations which provide rich contextual cues to the synthesis network. However, while this approach has been shown to work well and enables arbitrary-time interpolation due to using splatting, the involved synthesis network is prohibitively slow. In contrast, we propose to solely rely on splatting to synthesize the output without any subsequent refinement. This splatting-based synthesis is much faster than similar approaches, especially for multi-frame interpolation, while enabling new state-of-the-art results at high resolutions.
• Abstract（参考訳）: フレーム補間は、画像シーケンスの時間分解能を調整する重要なビデオ処理技術である。 フレーム補間を行う効果的なアプローチは、フォワードワーピングとしても知られるスプレーティングに基づいている。 具体的には、光学フロー推定に基づいて入力画像を任意の時間的位置へゆがめるためにスプレーティングを用いることができる。 合成ネットワークは、時にはリファインメントネットワークとも呼ばれ、歪んだ画像から出力フレームを生成するのに使うことができる。 その際、画像だけでなく、合成ネットワークに豊富な文脈的手がかりを提供する様々な特徴表現をワープすることが一般的である。 しかし, この手法はスプラッティングによる任意の時間補間が可能であることが示されているが, 関連する合成ネットワークは極めて遅い。 対照的に,我々は,後続の精細化を伴わずに出力を合成するためのスプレーティングのみに頼ることを提案する。 このスプレーティングベースの合成は、類似のアプローチ、特にマルチフレーム補間よりもずっと高速であり、高い解像度で新しい最先端の結果を実現できる。

関連論文リスト

• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
  提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。 人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:43:20Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• The Invertible U-Net for Optical-Flow-free Video Interframe Generation [31.100044730381047]
  本稿では,問題のある光流を使わずに映像フレーム間生成問題に取り組む。 フレーム間の意味的時間的整合性を維持するために,潜在空間に新たな整合性損失を持つ学習手法を提案する。 生成した画像の解像度は、可逆ネットワークを用いて元の画像と同一であることが保証される。
  論文  参考訳（メタデータ） (2021-03-17T11:37:10Z)
• Softmax Splatting for Video Frame Interpolation [14.815903726643011]
  異なる画像サンプリングは、深さ推定や光フロー予測といったタスクに広く採用されている。 本稿では,このパラダイムシフトに対処するソフトマックススプラッティングを提案し,フレーム幾何学の適用性を示す。 我々は,ソフトマックススプラッティングによる合成手法により,映像フレーム形状の最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-11T21:38:56Z)
• Blurry Video Frame Interpolation [57.77512131536132]
  本稿では,ぼやけた動きとアップコンバートのフレームレートを同時に低減する,ぼやけたビデオフレーム手法を提案する。 具体的には、透明な中間フレームを循環的に合成するピラミッドモジュールを開発する。 我々の手法は最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2020-02-27T17:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。