論文の概要: Unsupervised Multi-object Segmentation by Predicting Probable Motion
Patterns
- arxiv url: http://arxiv.org/abs/2210.12148v1
- Date: Fri, 21 Oct 2022 17:57:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:23:05.423617
- Title: Unsupervised Multi-object Segmentation by Predicting Probable Motion
Patterns
- Title(参考訳): 確率的動きパターン予測による教師なしマルチオブジェクトセグメンテーション
- Authors: Laurynas Karazija, Subhabrata Choudhury, Iro Laina, Christian
Rupprecht, Andrea Vedaldi
- Abstract要約: 手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。
この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。
シミュレーションおよび実世界のベンチマークで、最先端の教師なしオブジェクトセグメンテーション性能を示す。
- 参考スコア(独自算出の注目度): 92.80981308407098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new approach to learn to segment multiple image objects without
manual supervision. The method can extract objects form still images, but uses
videos for supervision. While prior works have considered motion for
segmentation, a key insight is that, while motion can be used to identify
objects, not all objects are necessarily in motion: the absence of motion does
not imply the absence of objects. Hence, our model learns to predict image
regions that are likely to contain motion patterns characteristic of objects
moving rigidly. It does not predict specific motion, which cannot be done
unambiguously from a still image, but a distribution of possible motions, which
includes the possibility that an object does not move at all. We demonstrate
the advantage of this approach over its deterministic counterpart and show
state-of-the-art unsupervised object segmentation performance on simulated and
real-world benchmarks, surpassing methods that use motion even at test time. As
our approach is applicable to variety of network architectures that segment the
scenes, we also apply it to existing image reconstruction-based models showing
drastic improvement. Project page and code:
https://www.robots.ox.ac.uk/~vgg/research/ppmp .
- Abstract(参考訳): 手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。
この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。
先行研究は、セグメンテーションのための動きを検討したが、重要な洞察は、動きは物体を識別するために使用できるが、すべての物体が必ずしも動いているとは限らないことである。
そこで,本モデルでは,物体の運動パターンが強固に動きやすい画像領域の予測を学習する。
静止画像から明確にはできない特定の動きを予測するのではなく、物体が全く動かない可能性を含む可能性のある動きの分布を予測する。
提案手法の利点は決定論的手法に勝るもので,シミュレーションおよび実世界のベンチマーク上での最先端の非教師対象セグメンテーション性能を示し,テスト時にも動作を利用する手法を超越している。
本手法はシーンを分割する様々なネットワークアーキテクチャに適用できるため,既存の画像再構成モデルにも適用でき,大幅な改善が期待できる。
プロジェクトページとコード:https://www.robots.ox.uk/~vgg/research/ppmp
関連論文リスト
- Instance-Level Moving Object Segmentation from a Single Image with Events [84.12761042512452]
移動対象セグメンテーションは、複数の移動対象を含む動的なシーンを理解する上で重要な役割を果たす。
従来の手法では、物体の画素変位がカメラの動きや物体の動きによって引き起こされるかどうかを区別することが困難であった。
近年の進歩は、従来の画像の不適切な動作モデリング機能に対抗するために、新しいイベントカメラの動作感度を利用する。
補完的なテクスチャとモーションキューを統合した,最初のインスタンスレベルの移動オブジェクトセグメンテーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-18T15:56:46Z) - MOD-UV: Learning Mobile Object Detectors from Unlabeled Videos [34.24947555223083]
身体的エージェントは、例えば自動運転車の交通参加者など、興味のある対象を検出し、ローカライズする必要がある。
未ラベル映像から学習した移動物体検出器MOD-UVを提案する。
オープン, nuScenes, KITTIデータセット上での教師なし移動体検出における最先端性能を実現する。
論文 参考訳(メタデータ) (2024-05-23T17:55:11Z) - Multi-Object Discovery by Low-Dimensional Object Motion [0.0]
単一画像からの流れを再構成する際のあいまいさを取り除くために,画素単位の幾何と物体の動きをモデル化する。
シーン構造とオブジェクトの動きをモデル化することにより、合成および実世界のデータセット上での教師なしマルチオブジェクトセグメンテーションの最先端結果を得る。
論文 参考訳(メタデータ) (2023-07-16T12:35:46Z) - InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。
InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。
数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
論文 参考訳(メタデータ) (2023-03-14T17:58:44Z) - Treating Motion as Option to Reduce Motion Dependency in Unsupervised
Video Object Segmentation [5.231219025536678]
教師なしビデオオブジェクトセグメンテーション(VOS)は、画素レベルでの動画シーケンスにおいて最も顕著なオブジェクトを検出することを目的としている。
最先端のほとんどの手法では、光学フローマップから得られる動きの手がかりと外観の手がかりを活用して、背景に比べて顕著な物体が典型的に特徴的な動きを持つという特性を利用する。
論文 参考訳(メタデータ) (2022-09-04T18:05:52Z) - Guess What Moves: Unsupervised Video and Image Segmentation by
Anticipating Motion [92.80981308407098]
本稿では,動きに基づくセグメンテーションと外観に基づくセグメンテーションの強みを組み合わせたアプローチを提案する。
本稿では、画像分割ネットワークを監督し、単純な動きパターンを含む可能性のある領域を予測することを提案する。
教師なしのビデオセグメンテーションモードでは、ネットワークは、学習プロセス自体をこれらのビデオをセグメンテーションするアルゴリズムとして使用して、ラベルのないビデオの集合に基づいて訓練される。
論文 参考訳(メタデータ) (2022-05-16T17:55:34Z) - The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos [59.12750806239545]
動画は移動成分によって同じシーンを異なる視点で見ることができ、適切な領域分割と領域フローは相互のビュー合成を可能にする。
モデルでは,1枚の画像に対して特徴に基づく領域分割を出力する出現経路と,1枚の画像に対して動作特徴を出力する動き経路の2つの経路から開始する。
セグメントフローに基づく視線合成誤差を最小限に抑えるためにモデルを訓練することにより、我々の外観経路と運動経路は、それぞれ低レベルのエッジや光フローから構築することなく、領域のセグメンテーションとフロー推定を自動的に学習する。
論文 参考訳(メタデータ) (2021-11-11T18:59:11Z) - Motion Representations for Articulated Animation [34.54825980226596]
異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。
完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。
我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
論文 参考訳(メタデータ) (2021-04-22T18:53:56Z) - DyStaB: Unsupervised Object Segmentation via Dynamic-Static
Bootstrapping [72.84991726271024]
我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。
提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。
セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
論文 参考訳(メタデータ) (2020-08-16T22:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。