論文の概要: A Deep Temporal Fusion Framework for Scene Flow Using a Learnable Motion Model and Occlusions

• arxiv url: http://arxiv.org/abs/2011.01603v2
• Date: Wed, 4 Nov 2020 09:13:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 05:20:40.472888
• Title: A Deep Temporal Fusion Framework for Scene Flow Using a Learnable Motion Model and Occlusions
• Title（参考訳）: 学習可能な運動モデルとオクルージョンを用いたシーンフローのための深部時間融合フレームワーク
• Authors: Ren\'e Schuster, Christian Unger, Didier Stricker
• Abstract要約: 複数フレーム構成におけるシーンフロー推定の時間的融合のための新しいデータ駆動手法を提案する。 第2のステップでは、ニューラルネットワークが共通の参照フレームから双方向のシーンフロー推定値を合成し、洗練された推定値を生成する。 このようにして、本手法は、複数のシーンフロー推定器に対して高速なマルチフレーム拡張を提供し、基礎となるデュアルフレームアプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 17.66624674542256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion estimation is one of the core challenges in computer vision. With traditional dual-frame approaches, occlusions and out-of-view motions are a limiting factor, especially in the context of environmental perception for vehicles due to the large (ego-) motion of objects. Our work proposes a novel data-driven approach for temporal fusion of scene flow estimates in a multi-frame setup to overcome the issue of occlusion. Contrary to most previous methods, we do not rely on a constant motion model, but instead learn a generic temporal relation of motion from data. In a second step, a neural network combines bi-directional scene flow estimates from a common reference frame, yielding a refined estimate and a natural byproduct of occlusion masks. This way, our approach provides a fast multi-frame extension for a variety of scene flow estimators, which outperforms the underlying dual-frame approaches.
• Abstract（参考訳）: 運動推定はコンピュータビジョンにおける重要な課題の1つである。 従来のデュアルフレームアプローチでは、オクルージョンと外見運動は、特に物体の大きな(エゴ)動きによる車両の環境認識の文脈において、制限要因である。 本研究では,複数フレーム構成におけるシーンフロー推定の時間的融合によるオクルージョン問題を克服するための新しいデータ駆動手法を提案する。 従来の手法とは対照的に、定常運動モデルに頼るのではなく、データから動きの一般的な時間的関係を学習する。 第2のステップでは、ニューラルネットワークは、共通の参照フレームからの双方向のシーンフロー推定を組み合わせ、洗練された推定値と閉塞マスクの自然な副産物を生成する。 このようにして、本手法は、複数のシーンフロー推定器に対して高速なマルチフレーム拡張を提供する。

関連論文リスト

• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 General Implicit Motion Modeling (IMM)は、モーションモデリングVFIの新規かつ効果的なアプローチである。 我々のGIMMは、既存のフローベースのVFIワークとスムーズに統合できます。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow [14.877766449009119]
  深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。 動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。 我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
  論文  参考訳（メタデータ） (2023-11-20T08:29:55Z)
• Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
  Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。 フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。 本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
  論文  参考訳（メタデータ） (2023-04-26T14:45:09Z)
• Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment Using Temporal Dynamic Modeling [7.111443975103329]
  本稿では,動的シーンの複数フレーム列からの光フロー推定について検討する。 隣接フレームの動作先を用いて、閉鎖領域のより信頼性の高い監視を行う。 KITTI 2012、KITTI 2015、Sintel Clean、Sintel Finalデータセットの実験は、我々の手法の有効性を実証している。
  論文  参考訳（メタデータ） (2023-04-14T14:32:02Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。