論文の概要: OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation
- arxiv url: http://arxiv.org/abs/2403.18092v1
- Date: Tue, 26 Mar 2024 20:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 21:05:06.583082
- Title: OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation
- Title（参考訳）: OCAI: Occlusion と Consistency Aware Interpolation による光フロー推定の改善
- Authors: Jisoo Jeong, Hong Cai, Risheek Garrepalli, Jamie Menjay Lin, Munawar Hayat, Fatih Porikli,
- Abstract要約: 本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
- 参考スコア（独自算出の注目度）: 55.676358801492114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The scarcity of ground-truth labels poses one major challenge in developing optical flow estimation models that are both generalizable and robust. While current methods rely on data augmentation, they have yet to fully exploit the rich information available in labeled video sequences. We propose OCAI, a method that supports robust frame interpolation by generating intermediate video frames alongside optical flows in between. Utilizing a forward warping approach, OCAI employs occlusion awareness to resolve ambiguities in pixel values and fills in missing values by leveraging the forward-backward consistency of optical flows. Additionally, we introduce a teacher-student style semi-supervised learning method on top of the interpolated frames. Using a pair of unlabeled frames and the teacher model's predicted optical flow, we generate interpolated frames and flows to train a student model. The teacher's weights are maintained using Exponential Moving Averaging of the student. Our evaluations demonstrate perceptually superior interpolation quality and enhanced optical flow accuracy on established benchmarks such as Sintel and KITTI.
- Abstract（参考訳）: 地上構造ラベルの不足は、一般化可能かつ堅牢な光フロー推定モデルを開発する上で大きな課題となる。
現在の手法はデータ拡張に依存しているが、ラベル付きビデオシーケンスで利用可能な豊富な情報を十分に活用していない。
本稿では,中間映像フレームと光フローを同時に生成することで,ロバストなフレーム補間を支援するOCAIを提案する。
前向きのワープアプローチを利用することで、OCAIはオクルージョン認識を用いて画素値の曖昧さを解消し、光学フローの前方の整合性を活用して欠落値を満たす。
さらに,補間フレーム上に教師学生スタイルの半教師付き学習手法を導入する。
一対のラベルのないフレームと教師モデルの予測された光学的流れを用いて、補間されたフレームとフローを生成し、学生モデルを訓練する。
教師の体重は、生徒の指数移動平均値を用いて維持される。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,知覚的に優れた補間品質と光フロー精度を実証した。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳（メタデータ） (2022-07-27T17:36:23Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - RAI-Net: Range-Adaptive LiDAR Point Cloud Frame Interpolation Network [5.225160072036824]
捕捉されたフレーム間の中間フレームを合成するLiDARポイントクラウドフレームは、多くのアプリケーションにおいて重要な問題となっている。
本稿では,CNNとの中間表現として範囲画像(RI)を利用してフレーム処理を行う,新しいLiDARポイントクラウド光フレーム法を提案する。
提案手法は,最新の映像フレーム方式よりも知覚的品質の優れたフレームを連続的に実現している。
論文 参考訳（メタデータ） (2021-06-01T13:59:08Z) - PDWN: Pyramid Deformable Warping Network for Video Interpolation [11.62213584807003]
Pyramid Deformable Warping Network (PDWN) と呼ばれる軽量かつ効果的なモデルを提案する。
PDWNはピラミッド構造を使用して、既知のフレームに関して未知の中間フレームのDConvオフセットを生成します。
提案手法は,複数のデータセットの最先端モデルと比較して精度が向上する。
論文 参考訳（メタデータ） (2021-04-04T02:08:57Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。