論文の概要: Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion

• arxiv url: http://arxiv.org/abs/2205.07844v1
• Date: Mon, 16 May 2022 17:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 17:27:42.212257
• Title: Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
• Title（参考訳）: 動きを予想する: 教師なしのビデオと画像のセグメンテーション
• Authors: Subhabrata Choudhury, Laurynas Karazija, Iro Laina, Andrea Vedaldi, Christian Rupprecht
• Abstract要約: 本稿では,動きに基づくセグメンテーションと外観に基づくセグメンテーションの強みを組み合わせたアプローチを提案する。 本稿では、画像分割ネットワークを監督し、単純な動きパターンを含む可能性のある領域を予測することを提案する。 教師なしのビデオセグメンテーションモードでは、ネットワークは、学習プロセス自体をこれらのビデオをセグメンテーションするアルゴリズムとして使用して、ラベルのないビデオの集合に基づいて訓練される。
• 参考スコア（独自算出の注目度）: 92.80981308407098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motion, measured via optical flow, provides a powerful cue to discover and learn objects in images and videos. However, compared to using appearance, it has some blind spots, such as the fact that objects become invisible if they do not move. In this work, we propose an approach that combines the strengths of motion-based and appearance-based segmentation. We propose to supervise an image segmentation network, tasking it with predicting regions that are likely to contain simple motion patterns, and thus likely to correspond to objects. We apply this network in two modes. In the unsupervised video segmentation mode, the network is trained on a collection of unlabelled videos, using the learning process itself as an algorithm to segment these videos. In the unsupervised image segmentation model, the network is learned using videos and applied to segment independent still images. With this, we obtain strong empirical results in unsupervised video and image segmentation, significantly outperforming the state of the art on benchmarks such as DAVIS, sometimes with a $5\%$ IoU gap.
• Abstract（参考訳）: オプティカルフローで測定されたモーションは、画像やビデオで物体を発見し、学習するための強力な手がかりを提供する。 しかし、外見に比較すると、物体が動かなければ見えないというような盲点がいくつかある。 本研究では,モーションベースと外観ベースセグメンテーションの強みを組み合わせたアプローチを提案する。 画像セグメンテーションネットワークを監督し,単純な動きパターンを含む可能性が高く,オブジェクトに対応する可能性のある領域を予測することを提案する。 このネットワークを2つのモードで適用する。 教師なしのビデオセグメンテーションモードでは、ネットワークはラベルなしのビデオのコレクションで訓練され、学習プロセス自体がこれらのビデオのセグメンテーションのアルゴリズムとして使用される。 教師なし画像分割モデルでは、ビデオを用いてネットワークを学習し、独立した静止画像のセグメント化に適用する。 これにより、教師なしのビデオや画像のセグメンテーションにおいて、強力な実験結果が得られ、DAVISなどのベンチマークでは、時には5\%のIoUギャップで、その性能を著しく上回っている。

関連論文リスト

• Bootstrapping Objectness from Videos by Relaxed Common Fate and Visual Grouping [52.03068246508119]
  ラベルのないビデオから学習対象のセグメンテーションを研究する。 画像セグメンタを一定のセグメントフローと小さな内部残留フローで近似した光流のループで学習する。 DAVIS16/STv2/FBMS59では,それぞれ7/9/5%の絶対利得が得られた。
  論文  参考訳（メタデータ） (2023-04-17T07:18:21Z)
• Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns [92.80981308407098]
  手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。 この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。 シミュレーションおよび実世界のベンチマークで、最先端の教師なしオブジェクトセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2022-10-21T17:57:05Z)
• Box Supervised Video Segmentation Proposal Network [3.384080569028146]
  本稿では,本質的な映像特性を生かしたボックス管理型映像オブジェクト分割提案ネットワークを提案する。 提案手法は,最先端の自己監督ベンチマークを16.4%,6.9%上回る性能を示した。 提案手法のロバスト性を実証し,データセットに対する広範なテストと改善を行った。
  論文  参考訳（メタデータ） (2022-02-14T20:38:28Z)
• Learning To Segment Dominant Object Motion From Watching Videos [72.57852930273256]
  我々は,有意な移動物体セグメンテーションのための単純なフレームワークを構想する。このフレームワークは,有意なデータを必要としないし,有意な前処理や事前学習された光フローマップに依存しない。 層状画像表現に着想を得て,アフィンパラメトリックの動きに応じて画素領域をグループ化する手法を提案する。 これにより、トレーニングと推論の両方の入力として、RGBイメージペアのみを使用して、支配的なフォアグラウンドオブジェクトのセグメンテーションを学習することができる。
  論文  参考訳（メタデータ） (2021-11-28T14:51:00Z)
• The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos [59.12750806239545]
  動画は移動成分によって同じシーンを異なる視点で見ることができ、適切な領域分割と領域フローは相互のビュー合成を可能にする。 モデルでは,1枚の画像に対して特徴に基づく領域分割を出力する出現経路と,1枚の画像に対して動作特徴を出力する動き経路の2つの経路から開始する。 セグメントフローに基づく視線合成誤差を最小限に抑えるためにモデルを訓練することにより、我々の外観経路と運動経路は、それぞれ低レベルのエッジや光フローから構築することなく、領域のセグメンテーションとフロー推定を自動的に学習する。
  論文  参考訳（メタデータ） (2021-11-11T18:59:11Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。