論文の概要: Motion Segmentation from a Moving Monocular Camera

• arxiv url: http://arxiv.org/abs/2309.13772v1
• Date: Sun, 24 Sep 2023 22:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:43:55.320354
• Title: Motion Segmentation from a Moving Monocular Camera
• Title（参考訳）: 移動単眼カメラからのモーションセグメンテーション
• Authors: Yuxiang Huang, John Zelek
• Abstract要約: 我々は、点軌跡法と光フロー法という、単眼運動分割手法の2つの一般的な分岐を生かしている。 我々は異なるシーン構造で様々な複雑な物体の動きを同時にモデル化することができる。 提案手法は,KT3DMoSegデータセット上での最先端性能を示す。
• 参考スコア（独自算出の注目度）: 3.115818438802931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying and segmenting moving objects from a moving monocular camera is difficult when there is unknown camera motion, different types of object motions and complex scene structures. To tackle these challenges, we take advantage of two popular branches of monocular motion segmentation approaches: point trajectory based and optical flow based methods, by synergistically fusing these two highly complementary motion cues at object level. By doing this, we are able to model various complex object motions in different scene structures at once, which has not been achieved by existing methods. We first obtain object-specific point trajectories and optical flow mask for each common object in the video, by leveraging the recent foundational models in object recognition, segmentation and tracking. We then construct two robust affinity matrices representing the pairwise object motion affinities throughout the whole video using epipolar geometry and the motion information provided by optical flow. Finally, co-regularized multi-view spectral clustering is used to fuse the two affinity matrices and obtain the final clustering. Our method shows state-of-the-art performance on the KT3DMoSeg dataset, which contains complex motions and scene structures. Being able to identify moving objects allows us to remove them for map building when using visual SLAM or SFM.
• Abstract（参考訳）: 移動モノクロカメラからの移動物体の識別と分割は、未知のカメラモーション、異なる種類の物体モーション、複雑なシーン構造がある場合に困難である。 これらの課題に対処するために、物体レベルで相補的な2つの動きキューを相乗的に融合させることにより、点軌跡ベースと光フローベース手法という、単眼運動セグメンテーションアプローチの一般的な2つの枝を利用する。 これにより、異なるシーン構造における様々な複雑な物体の動きを同時にモデル化できるが、既存の手法では実現されていない。 まず, 物体認識, セグメンテーション, 追跡における最近の基礎モデルを利用して, ビデオ中の各共通物体に対する物体固有点軌道と光フローマスクを求める。 次に,2つのロバストなアフィニティ行列を,エピポーラ幾何学と光流による運動情報を用いてビデオ全体を通して構成する。 最後に、2つの親和性行列を融合させ、最終的なクラスタリングを得るために、共正規化マルチビュースペクトルクラスタリングを用いる。 本手法は,複雑な動きやシーン構造を含むKT3DMoSegデータセット上での最先端性能を示す。 動くオブジェクトを識別できれば、視覚的SLAMやSFMを使用する場合、マップ構築用のオブジェクトを削除できます。

関連論文リスト

• Zero-Shot Monocular Motion Segmentation in the Wild by Combining Deep Learning with Geometric Motion Model Fusion [6.805017878728801]
  そこで本研究では,最先端の動作セグメント化をゼロショット方式で実現した,単分子密分法を提案する。 提案手法は,深層学習と幾何モデル融合法の強みを相乗的に組み合わせた手法である。 実験により,いくつかの動作セグメンテーションデータセット上での競合結果が得られ,特定のベンチマーク上での最先端の教師付き手法を超越した結果が得られた。
  論文  参考訳（メタデータ） (2024-05-02T20:42:17Z)
• InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
  本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。 InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。 数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
  論文  参考訳（メタデータ） (2023-03-14T17:58:44Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。