論文の概要: Zero-Shot Monocular Motion Segmentation in the Wild by Combining Deep Learning with Geometric Motion Model Fusion

• arxiv url: http://arxiv.org/abs/2405.01723v1
• Date: Thu, 2 May 2024 20:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 14:34:45.199944
• Title: Zero-Shot Monocular Motion Segmentation in the Wild by Combining Deep Learning with Geometric Motion Model Fusion
• Title（参考訳）: 深層学習と幾何運動モデル融合による野生におけるゼロショット単眼運動分割
• Authors: Yuxiang Huang, Yuhao Chen, John Zelek,
• Abstract要約: そこで本研究では,最先端の動作セグメント化をゼロショット方式で実現した,単分子密分法を提案する。 提案手法は,深層学習と幾何モデル融合法の強みを相乗的に組み合わせた手法である。 実験により,いくつかの動作セグメンテーションデータセット上での競合結果が得られ,特定のベンチマーク上での最先端の教師付き手法を超越した結果が得られた。
• 参考スコア（独自算出の注目度）: 6.805017878728801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting and segmenting moving objects from a moving monocular camera is challenging in the presence of unknown camera motion, diverse object motions and complex scene structures. Most existing methods rely on a single motion cue to perform motion segmentation, which is usually insufficient when facing different complex environments. While a few recent deep learning based methods are able to combine multiple motion cues to achieve improved accuracy, they depend heavily on vast datasets and extensive annotations, making them less adaptable to new scenarios. To address these limitations, we propose a novel monocular dense segmentation method that achieves state-of-the-art motion segmentation results in a zero-shot manner. The proposed method synergestically combines the strengths of deep learning and geometric model fusion methods by performing geometric model fusion on object proposals. Experiments show that our method achieves competitive results on several motion segmentation datasets and even surpasses some state-of-the-art supervised methods on certain benchmarks, while not being trained on any data. We also present an ablation study to show the effectiveness of combining different geometric models together for motion segmentation, highlighting the value of our geometric model fusion strategy.
• Abstract（参考訳）: 動くモノクロカメラから動く物体を検知・分画することは、未知のカメラの動き、多様な物体の動き、複雑なシーン構造の存在において困難である。 既存のほとんどの手法は、動きのセグメンテーションを実行するために単一の動きキューに依存しており、これは通常、異なる複雑な環境に直面すると不十分である。 最近のディープラーニングベースの手法では、複数のモーションキューを組み合わせることで精度の向上を実現しているが、膨大なデータセットと広範なアノテーションに大きく依存しているため、新たなシナリオへの適応性が低い。 これらの制約に対処するために,最先端の動作セグメント化をゼロショット方式で実現した,単分子密分法を提案する。 提案手法は,物体の提案に対して幾何モデル融合を行うことにより,深層学習と幾何モデル融合法の強みを相乗的に結合する。 実験により,本手法はいくつかの動作セグメンテーションデータセットの競合的な結果を得ることができ,また,特定のベンチマークにおける最先端の教師付き手法を超越する結果も得られた。 また, 異なる幾何学的モデルを組み合わせることで, 動きのセグメンテーションを図り, 幾何学的モデル融合戦略の価値を明らかにするためのアブレーション実験を行った。

関連論文リスト

• A Unified Model Selection Technique for Spectral Clustering Based Motion Segmentation [2.637467480598825]
  スペクトルクラスタリングに基づく動き分割法において,運動群数を自動推定する統一モデル選択手法を提案する。 提案手法をKT3DMoSegデータセット上で評価し,ベースラインと比較した実験結果を得た。
  論文  参考訳（メタデータ） (2024-03-03T20:16:14Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Motion Segmentation from a Moving Monocular Camera [3.115818438802931]
  我々は、点軌跡法と光フロー法という、単眼運動分割手法の2つの一般的な分岐を生かしている。 我々は異なるシーン構造で様々な複雑な物体の動きを同時にモデル化することができる。 提案手法は,KT3DMoSegデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-09-24T22:59:05Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。