論文の概要: Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2206.10886v1
• Date: Wed, 22 Jun 2022 07:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 14:53:18.921251
• Title: Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のための入射ニューラル表現の光学的フロー正規化
• Authors: Weihao Zhuang, Tristan Hascoet, Ryoichi Takashima, Tetsuya Takiguchi
• Abstract要約: 映像フレーム補間 (VFI) は, 対象映像と光学的流れのみを用いて, 限られた移動範囲で行う。 InR誘導体の制約により、中間フレームの補間性が向上するだけでなく、観測されたフレームに適合する狭いネットワークの能力も向上することを示す。
• 参考スコア（独自算出の注目度）: 12.507566152678857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown the ability of Implicit Neural Representations (INR) to carry meaningful representations of signal derivatives. In this work, we leverage this property to perform Video Frame Interpolation (VFI) by explicitly constraining the derivatives of the INR to satisfy the optical flow constraint equation. We achieve state of the art VFI on limited motion ranges using only a target video and its optical flow, without learning the interpolation operator from additional training data. We further show that constraining the INR derivatives not only allows to better interpolate intermediate frames but also improves the ability of narrow networks to fit the observed frames, which suggests potential applications to video compression and INR optimization.
• Abstract（参考訳）: 近年の研究では、インプシット神経表現(INR)がシグナル誘導体の有意義な表現を行う能力を示している。 本研究では,この特性を利用して,光フロー制約式を満たすためにinrの微分を明示的に制約することにより,ビデオフレーム補間(vfi)を行う。 我々は,対象映像とその光流のみを用いて限られた運動範囲におけるVFIの状態を,追加のトレーニングデータから補間演算子を学習することなく達成する。 さらに,inr誘導体の制約により,中間フレームの補間性が向上するだけでなく,狭帯域ネットワークによる観測フレームの適合性が向上し,ビデオ圧縮やinr最適化への潜在的な応用が示唆された。

関連論文リスト

• PNeRV: A Polynomial Neural Representation for Videos [28.302862266270093]
  Inlicit Neural Representations on videoの抽出は、時間次元の追加によるユニークな課題を生じさせる。 PNeRV(Polynomial Neural Representation for Videos)を紹介する。 PNeRVは、INRの領域でビデオデータによって引き起こされる課題を緩和するが、高度なビデオ処理と分析のための新たな道を開く。
  論文  参考訳（メタデータ） (2024-06-27T16:15:22Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow [14.877766449009119]
  深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。 動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。 我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
  論文  参考訳（メタデータ） (2023-11-20T08:29:55Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• DNeRV: Modeling Inherent Dynamics via Difference Neural Representation for Videos [53.077189668346705]
  映像の差分表現(eRV) 我々はこれを制限関数の適合性とフレーム差の重要性の観点から分析する。 DNeRVは最先端のニューラル圧縮アプローチと競合する結果を得る。
  論文  参考訳（メタデータ） (2023-04-13T13:53:49Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。