論文の概要: Softmax Splatting for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2003.05534v1
• Date: Wed, 11 Mar 2020 21:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 14:48:12.361614
• Title: Softmax Splatting for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のためのソフトマックススプレイティング
• Authors: Simon Niklaus, Feng Liu
• Abstract要約: 異なる画像サンプリングは、深さ推定や光フロー予測といったタスクに広く採用されている。 本稿では,このパラダイムシフトに対処するソフトマックススプラッティングを提案し,フレーム幾何学の適用性を示す。 我々は,ソフトマックススプラッティングによる合成手法により,映像フレーム形状の最新の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 14.815903726643011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable image sampling in the form of backward warping has seen broad adoption in tasks like depth estimation and optical flow prediction. In contrast, how to perform forward warping has seen less attention, partly due to additional challenges such as resolving the conflict of mapping multiple pixels to the same target location in a differentiable way. We propose softmax splatting to address this paradigm shift and show its effectiveness on the application of frame interpolation. Specifically, given two input frames, we forward-warp the frames and their feature pyramid representations based on an optical flow estimate using softmax splatting. In doing so, the softmax splatting seamlessly handles cases where multiple source pixels map to the same target location. We then use a synthesis network to predict the interpolation result from the warped representations. Our softmax splatting allows us to not only interpolate frames at an arbitrary time but also to fine tune the feature pyramid and the optical flow. We show that our synthesis approach, empowered by softmax splatting, achieves new state-of-the-art results for video frame interpolation.
• Abstract（参考訳）: 後方ワープの形での異なる画像サンプリングは、深さ推定や光流予測といったタスクに広く採用されている。 対照的に、フォワードワーピングの実行方法には、複数のピクセルを同じターゲットロケーションに微分可能な方法でマッピングするコンフリクトを解決するなど、追加の課題があるため、あまり注目されていない。 本稿では,このパラダイムシフトに対処するソフトマックススプラッティングを提案し,フレーム補間の適用性を示す。 具体的には、2つの入力フレームを与えられた場合、softmax splattingを用いた光学フロー推定に基づいて、フレームとその特徴ピラミッド表現をフォワードウォープする。 そのためにsoftmax splattingは、複数のソースピクセルが同じターゲットロケーションにマップされるケースをシームレスに処理する。 次に合成ネットワークを用いて、歪んだ表現からの補間結果を予測する。 我々のソフトマックススプレイティングは、フレームを任意のタイミングで補間するだけでなく、特徴ピラミッドと光学フローを微調整することを可能にする。 我々は,映像フレーム補間のためのソフトマックススプラッティングによる合成手法により,新しい最先端結果が得られることを示す。

関連論文リスト

• Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement [83.60486465697318]
  本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-10-29T09:09:32Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• Many-to-many Splatting for Efficient Video Frame Interpolation [80.10804399840927]
  モーションベースのビデオフレームは、入力から所望の瞬間までの画素をワープするための光学フローに依存している。 many-to-Many (M2M) スプレイティングフレームワークはフレームを効率的に補間する。 M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
  論文  参考訳（メタデータ） (2022-04-07T15:29:42Z)
• FILM: Frame Interpolation for Large Motion [20.04001872133824]
  本稿では,2つの入力画像から複数の中間フレームを合成するフレームアルゴリズムを提案する。 提案手法は,Xiph大運動ベンチマークの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-02-10T08:48:18Z)
• Splatting-based Synthesis for Video Frame Interpolation [22.927938232020367]
  フレームワープを効果的に行う手法はスプラッティングに基づいている。 我々は,後の改良を伴わずに出力を合成するためにスプラッティングのみに頼ることを提案する。 このスプラッティングベースの合成は、特にマルチフレーム合成において、類似したアプローチよりもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-25T03:31:15Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。