論文の概要: A Deep Moving-camera Background Model
- arxiv url: http://arxiv.org/abs/2209.07923v1
- Date: Fri, 16 Sep 2022 13:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:50:20.950110
- Title: A Deep Moving-camera Background Model
- Title(参考訳): 奥行き移動カメラの背景モデル
- Authors: Guy Erez, Ron Shapira Weber, Oren Freifeld
- Abstract要約: ビデオ解析ビデオにおける移動カメラ背景モデル(MCBM)の学習手法を提案する。
DeepMCBMは関節アライメントに関連する問題を排除し、最先端の結果を得る。
我々は、DeepMCBMのユーティリティを、他のメソッドの範囲を超えて、様々なビデオでデモする。
- 参考スコア(独自算出の注目度): 5.564705758320338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In video analysis, background models have many applications such as
background/foreground separation, change detection, anomaly detection,
tracking, and more. However, while learning such a model in a video captured by
a static camera is a fairly-solved task, in the case of a Moving-camera
Background Model (MCBM), the success has been far more modest due to
algorithmic and scalability challenges that arise due to the camera motion.
Thus, existing MCBMs are limited in their scope and their supported
camera-motion types. These hurdles also impeded the employment, in this
unsupervised task, of end-to-end solutions based on deep learning (DL).
Moreover, existing MCBMs usually model the background either on the domain of a
typically-large panoramic image or in an online fashion. Unfortunately, the
former creates several problems, including poor scalability, while the latter
prevents the recognition and leveraging of cases where the camera revisits
previously-seen parts of the scene. This paper proposes a new method, called
DeepMCBM, that eliminates all the aforementioned issues and achieves
state-of-the-art results. Concretely, first we identify the difficulties
associated with joint alignment of video frames in general and in a DL setting
in particular. Next, we propose a new strategy for joint alignment that lets us
use a spatial transformer net with neither a regularization nor any form of
specialized (and non-differentiable) initialization. Coupled with an
autoencoder conditioned on unwarped robust central moments (obtained from the
joint alignment), this yields an end-to-end regularization-free MCBM that
supports a broad range of camera motions and scales gracefully. We demonstrate
DeepMCBM's utility on a variety of videos, including ones beyond the scope of
other methods. Our code is available at https://github.com/BGU-CS-VIL/DeepMCBM .
- Abstract(参考訳): ビデオ解析において、背景モデルには背景/地上分離、変化検出、異常検出、追跡など多くの応用がある。
しかし、静止カメラが捉えたビデオでそのようなモデルを学習することは、移動カメラ背景モデル(MCBM)の場合、かなり解決された作業であるが、カメラの動きによって生じるアルゴリズム的およびスケーラビリティ上の課題により、成功ははるかに控えめである。
したがって、既存のMCBMはスコープとカメラモーションタイプに制限がある。
これらのハードルは、ディープラーニング(DL)に基づいたエンドツーエンドソリューションの、この教師なしのタスクにおける雇用を妨げた。
さらに、既存のmcbmは通常、通常大きなパノラマ画像の領域またはオンラインの方法で背景をモデル化する。
残念なことに、前者はスケーラビリティの低さなどいくつかの問題を起こし、後者はカメラが以前入手したシーンを再訪するケースの認識と活用を妨げている。
本稿では,上記の問題をすべて排除し,最先端の結果を得る新しい手法であるdeepmcbmを提案する。
具体的には,まずビデオフレームのジョイントアライメントの難しさ,特にdl設定における問題点を明らかにする。
次に,正規化や特殊(かつ非微分可能)な初期化をもたない空間的トランスフォーマーネットを併用するジョイントアライメントのための新しい戦略を提案する。
アンウォープされた頑健な中央モーメント(関節アライメントから得られる)に条件付けされたオートエンコーダと組み合わせることで、広い範囲のカメラモーションとスケールをサポートするエンドツーエンドの正規化フリーMCBMが得られる。
我々は、DeepMCBMのユーティリティを、他のメソッドの範囲を超えて、様々なビデオでデモする。
私たちのコードはhttps://github.com/BGU-CS-VIL/DeepMCBMで利用可能です。
関連論文リスト
- UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation [9.333052173412158]
カメラの動きに頑健な新しいモーションモデルベースのトラッカーであるUCMCTrackを紹介する。
フレーム単位で補償パラメータを計算する従来のCMCとは異なり、UCMCTrackはビデオシーケンスを通して同じ補償パラメータを一貫して適用する。
MOT17、MOT20、DanceTrack、KITTIなど、さまざまな課題のあるデータセットで最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-12-14T14:01:35Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳(メタデータ) (2023-08-16T09:50:35Z) - Co-attention Propagation Network for Zero-Shot Video Object Segmentation [91.71692262860323]
ゼロショットオブジェクトセグメンテーション(ZS-VOS)は、これらのオブジェクトを事前に知ることなく、ビデオシーケンス内のオブジェクトをセグメンテーションすることを目的としている。
既存のZS-VOSメソッドは、しばしば前景と背景を区別したり、複雑なシナリオで前景を追跡するのに苦労する。
本稿では,オブジェクトの追跡とセグメンテーションが可能なエンコーダデコーダに基づく階層的コアテンション伝搬ネットワーク(HCPN)を提案する。
論文 参考訳(メタデータ) (2023-04-08T04:45:48Z) - A Flexible Framework for Virtual Omnidirectional Vision to Improve
Operator Situation Awareness [2.817412580574242]
本稿では,ロボットのどこに設置した複数のカメラを融合させる新しい手法に基づいて,仮想プロジェクションのためのフレキシブルなフレームワークを提案する。
カメラ画像と幾何学的3Dライダーデータを融合させることでシーン理解を改善するための補完的なアプローチを提案し,色付き点雲を得る。
論文 参考訳(メタデータ) (2023-02-01T10:40:05Z) - Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。
我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。
公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
論文 参考訳(メタデータ) (2022-10-27T02:45:48Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳(メタデータ) (2022-03-14T17:55:41Z) - DyGLIP: A Dynamic Graph Model with Link Prediction for Accurate
Multi-Camera Multiple Object Tracking [25.98400206361454]
Multi-Camera Multiple Object Tracking (MC-MOT) は、複数の実世界のアプリケーションに適用可能になったため、重要なコンピュータビジョンの問題である。
本研究では,データアソシエーションタスクを解決するために,リンク予測を用いた動的グラフモデルを提案する。
実験結果から,既存のMC-MOTアルゴリズムよりも,いくつかの実用的なデータセットにおいて大きなマージンを達成できた。
論文 参考訳(メタデータ) (2021-06-12T20:22:30Z) - FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。
エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。
Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
論文 参考訳(メタデータ) (2021-05-05T09:08:12Z) - Self-supervised Human Detection and Segmentation via Multi-view
Consensus [116.92405645348185]
本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。
本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
論文 参考訳(メタデータ) (2020-12-09T15:47:21Z) - Wide-angle Image Rectification: A Survey [86.36118799330802]
広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。
これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。
本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。
次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
論文 参考訳(メタデータ) (2020-10-30T17:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。