論文の概要: Frame Interpolation for Dynamic Scenes with Implicit Flow Encoding

• arxiv url: http://arxiv.org/abs/2209.13284v1
• Date: Tue, 27 Sep 2022 10:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:57:28.933801
• Title: Frame Interpolation for Dynamic Scenes with Implicit Flow Encoding
• Title（参考訳）: 入射流符号化による動的シーンのフレーム補間
• Authors: Pedro Figueir\^edo, Avinash Paliwal, Nima Khademi Kalantari
• Abstract要約: 本稿では,動的シーンの2対のイメージ間を補間するアルゴリズムを提案する。 我々は、照明の変動に対して非常に頑健な既存の光学フロー手法を利用する。 我々の手法は、最先端のフレームブレンディングアルゴリズムよりもはるかに優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 10.445563506186307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose an algorithm to interpolate between a pair of images of a dynamic scene. While in the past years significant progress in frame interpolation has been made, current approaches are not able to handle images with brightness and illumination changes, which are common even when the images are captured shortly apart. We propose to address this problem by taking advantage of the existing optical flow methods that are highly robust to the variations in the illumination. Specifically, using the bidirectional flows estimated using an existing pre-trained flow network, we predict the flows from an intermediate frame to the two input images. To do this, we propose to encode the bidirectional flows into a coordinate-based network, powered by a hypernetwork, to obtain a continuous representation of the flow across time. Once we obtain the estimated flows, we use them within an existing blending network to obtain the final intermediate frame. Through extensive experiments, we demonstrate that our approach is able to produce significantly better results than state-of-the-art frame interpolation algorithms.
• Abstract（参考訳）: 本稿では,動的シーンの1対の画像間を補間するアルゴリズムを提案する。 過去数年間、フレーム補間の大きな進歩が見られたが、現在のアプローチでは、画像がすぐに切り離されても一般的である明るさや照明の変化のある画像を処理できない。 照明の変動に対して非常に頑健な既存の光フロー手法を活用することで,この問題に対処することを提案する。 具体的には,既存の事前学習フローネットワークを用いて推定した双方向流れを用いて,中間フレームから2つの入力画像への流れを予測する。 そこで本研究では,ハイパーネットワークを用いた双方向フローを座標ベースネットワークに符号化し,時間にわたって流れを連続的に表現する手法を提案する。 推定フローが得られたら、それらを既存のブレンディングネットワーク内で使用して最終中間フレームを得る。 広範な実験により,本手法は最先端のフレーム補間アルゴリズムよりも優れた結果が得られることを示した。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow [11.914613556594725]
  イベント駆動型光フローの異方性調整によるビデオフレームのエンドツーエンドトレーニング手法A2OFを提案する。 具体的には、2つのフレーム間の複雑な動きをモデル化できる中間光学フローのための光フロー分布マスクを生成するためにイベントを使用する。
  論文  参考訳（メタデータ） (2022-08-19T02:31:33Z)
• Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning [65.85319901760478]
  我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:36:23Z)
• USegScene: Unsupervised Learning of Depth, Optical Flow and Ego-Motion with Semantic Guidance and Coupled Networks [31.600708674008384]
  UegSceneは、ステレオカメラ画像の奥行き、光学的流れ、エゴモーション推定を意味的に導くためのフレームワークである。 一般的なKITTIデータセットを用いて,提案手法が他の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-15T13:25:47Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。