論文の概要: Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning

• arxiv url: http://arxiv.org/abs/2207.13670v1
• Date: Wed, 27 Jul 2022 17:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:39:53.747742
• Title: Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning
• Title（参考訳）: メタ補間:デュアルメタラーニングによる時間任意フレーム補間
• Authors: Shixing Yu, Yiyang Ma, Wenhan Yang, Wei Xiang, Jiaying Liu
• Abstract要約: 我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 65.85319901760478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing video frame interpolation methods can only interpolate the frame at a given intermediate time-step, e.g. 1/2. In this paper, we aim to explore a more generalized kind of video frame interpolation, that at an arbitrary time-step. To this end, we consider processing different time-steps with adaptively generated convolutional kernels in a unified way with the help of meta-learning. Specifically, we develop a dual meta-learned frame interpolation framework to synthesize intermediate frames with the guidance of context information and optical flow as well as taking the time-step as side information. First, a content-aware meta-learned flow refinement module is built to improve the accuracy of the optical flow estimation based on the down-sampled version of the input frames. Second, with the refined optical flow and the time-step as the input, a motion-aware meta-learned frame interpolation module generates the convolutional kernels for every pixel used in the convolution operations on the feature map of the coarse warped version of the input frames to generate the predicted frame. Extensive qualitative and quantitative evaluations, as well as ablation studies, demonstrate that, via introducing meta-learning in our framework in such a well-designed way, our method not only achieves superior performance to state-of-the-art frame interpolation approaches but also owns an extended capacity to support the interpolation at an arbitrary time-step.
• Abstract（参考訳）: 既存のビデオフレーム補間法は、フレームを所定の中間段階(例えば1/2)でのみ補間することができる。 本稿では,任意の時間ステップでより一般化した映像フレーム補間について検討する。 この目的のために、メタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 具体的には,コンテクスト情報とオプティカルフローの指導により中間フレームを合成し,時間ステップをサイド情報として用いる2つのメタ学習フレーム補間フレームワークを開発した。 まず、入力フレームのダウンサンプリングバージョンに基づいて、光フロー推定の精度を向上させるために、コンテンツ対応のメタ学習フローリファインメントモジュールを構築する。 第2に、洗練された光学フロー及び時間ステップを入力として、モーションアウェアメタリールフレーム補間モジュールが、入力フレームの粗いワープバージョンの特徴マップ上の畳み込み操作で使用される画素毎の畳み込みカーネルを生成し、予測フレームを生成する。 広範囲な質的・定量的評価とアブレーション研究により,提案手法の枠組みにメタラーニングを導入することにより,最先端のフレーム補間手法よりも優れた性能が得られるだけでなく,任意の時間ステップで補間をサポートする拡張容量も有することを示した。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• Asymmetric Bilateral Motion Estimation for Video Frame Interpolation [50.44508853885882]
  非対称な左右運動推定(ABME)に基づく新しいビデオフレームアルゴリズムを提案する。 我々は左右対称運動場を予測してアンカーフレームを補間する。 アンカーフレームから入力フレームへの非対称な左右運動場を推定する。 第三に、非対称場を用いて入力フレームを後方にワープし、中間フレームを再構築する。
  論文  参考訳（メタデータ） (2021-08-15T21:11:35Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
  補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。 提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。 フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
  論文  参考訳（メタデータ） (2021-05-17T08:44:34Z)
• Video Frame Interpolation via Structure-Motion based Iterative Fusion [19.499969588931414]
  映像フレーム補間のための構造運動に基づく反復融合法を提案する。 観客が前景や背景の物体に対して異なる視覚的嗜好を持つという観察に触発されて,私たちは初めて,映像フレーム補間作業の評価プロセスにサリエンシマスクを使うことを提案する。
  論文  参考訳（メタデータ） (2021-05-11T22:11:17Z)
• Video Frame Interpolation via Generalized Deformable Convolution [18.357839820102683]
  ビデオフレームは、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。 既存のディープラーニングベースのビデオフレーム手法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに分けられる。 データ駆動方式で動きを効果的に学習し、時空のサンプリングポイントを自由に選択できる汎用変形型畳み込み機構が提案されている。
  論文  参考訳（メタデータ） (2020-08-24T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。