論文の概要: Bootstrapping Objectness from Videos by Relaxed Common Fate and Visual Grouping

• arxiv url: http://arxiv.org/abs/2304.08025v1
• Date: Mon, 17 Apr 2023 07:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 16:14:56.725347
• Title: Bootstrapping Objectness from Videos by Relaxed Common Fate and Visual Grouping
• Title（参考訳）: ビデオからオブジェクトをブートストラップするコモンフェイトとビジュアルグルーピング
• Authors: Long Lian, Zhirong Wu, Stella X. Yu
• Abstract要約: ラベルのないビデオから学習対象のセグメンテーションを研究する。 画像セグメンタを一定のセグメントフローと小さな内部残留フローで近似した光流のループで学習する。 DAVIS16/STv2/FBMS59では,それぞれ7/9/5%の絶対利得が得られた。
• 参考スコア（独自算出の注目度）: 52.03068246508119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study learning object segmentation from unlabeled videos. Humans can easily segment moving objects without knowing what they are. The Gestalt law of common fate, i.e., what move at the same speed belong together, has inspired unsupervised object discovery based on motion segmentation. However, common fate is not a reliable indicator of objectness: Parts of an articulated / deformable object may not move at the same speed, whereas shadows / reflections of an object always move with it but are not part of it. Our insight is to bootstrap objectness by first learning image features from relaxed common fate and then refining them based on visual appearance grouping within the image itself and across images statistically. Specifically, we learn an image segmenter first in the loop of approximating optical flow with constant segment flow plus small within-segment residual flow, and then by refining it for more coherent appearance and statistical figure-ground relevance. On unsupervised video object segmentation, using only ResNet and convolutional heads, our model surpasses the state-of-the-art by absolute gains of 7/9/5% on DAVIS16 / STv2 / FBMS59 respectively, demonstrating the effectiveness of our ideas. Our code is publicly available.
• Abstract（参考訳）: ラベルのないビデオから物体のセグメンテーションを学習する。 人間は動く物体を何であるかを知らずに簡単に分割することができる。 共通の運命のゲシュタルトの法則、すなわち同じ速度で動くものは、動きのセグメンテーションに基づいて教師なしの物体発見に影響を与えている。 しかし、共通の運命はオブジェクトの信頼性を示す指標ではない: 明瞭で変形可能なオブジェクトの一部は同じ速度で動くことはないが、オブジェクトの影や反射は常にそれで動くが、その一部ではない。 我々の洞察は、画像の特徴を緩和された共通の運命から学習し、画像自体と統計的にグループ分けされた視覚的外観に基づいてそれらを洗練することで、オブジェクトをブートストラップすることである。 具体的には、まず、画像分割器を、一定のセグメントフローと小さなセグメントフローで近似するループで学習し、その後、より一貫性のある外観と統計的図形関連性のために精錬する。 resnetとconvolutional headのみを使用した教師なしビデオオブジェクトセグメンテーションでは,本モデルは,davis16/stv2/fbms59上で,それぞれ7/9/5%の絶対値で最先端を上回り,アイデアの有効性を実証する。 私たちのコードは公開されています。

関連論文リスト

• LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and Bootstrapped Self-training [13.985488693082981]
  動作情報と外観情報を利用して高品質な物体分割マスクを生成する自己教師型物体発見手法を提案する。 複数の標準ビデオオブジェクトセグメンテーション、画像のサリエンシ検出、オブジェクトセグメンテーションベンチマークにおいて、LOCATEと呼ばれるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-22T07:27:09Z)
• InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
  本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。 InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。 数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
  論文  参考訳（メタデータ） (2023-03-14T17:58:44Z)
• Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns [92.80981308407098]
  手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。 この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。 シミュレーションおよび実世界のベンチマークで、最先端の教師なしオブジェクトセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2022-10-21T17:57:05Z)
• Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion [92.80981308407098]
  本稿では,動きに基づくセグメンテーションと外観に基づくセグメンテーションの強みを組み合わせたアプローチを提案する。 本稿では、画像分割ネットワークを監督し、単純な動きパターンを含む可能性のある領域を予測することを提案する。 教師なしのビデオセグメンテーションモードでは、ネットワークは、学習プロセス自体をこれらのビデオをセグメンテーションするアルゴリズムとして使用して、ラベルのないビデオの集合に基づいて訓練される。
  論文  参考訳（メタデータ） (2022-05-16T17:55:34Z)
• The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos [59.12750806239545]
  動画は移動成分によって同じシーンを異なる視点で見ることができ、適切な領域分割と領域フローは相互のビュー合成を可能にする。 モデルでは,1枚の画像に対して特徴に基づく領域分割を出力する出現経路と,1枚の画像に対して動作特徴を出力する動き経路の2つの経路から開始する。 セグメントフローに基づく視線合成誤差を最小限に抑えるためにモデルを訓練することにより、我々の外観経路と運動経路は、それぞれ低レベルのエッジや光フローから構築することなく、領域のセグメンテーションとフロー推定を自動的に学習する。
  論文  参考訳（メタデータ） (2021-11-11T18:59:11Z)
• NudgeSeg: Zero-Shot Object Segmentation by Repeated Physical Interaction [8.712677353734627]
  未知のオブジェクトを乱れたシーンに分割する最初のフレームワークを、オブジェクトに対して繰り返し「うなずく」ことによって提示する。 ゼロショットオブジェクトでは, 86%以上の印象的な平均検出率を示す。
  論文  参考訳（メタデータ） (2021-09-22T05:17:09Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。