論文の概要: Learning Referring Video Object Segmentation from Weak Annotation

• arxiv url: http://arxiv.org/abs/2308.02162v2
• Date: Fri, 15 Dec 2023 03:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 19:08:56.139586
• Title: Learning Referring Video Object Segmentation from Weak Annotation
• Title（参考訳）: 弱アノテーションを用いたビデオオブジェクトセグメンテーションの学習
• Authors: Wangbo Zhao, Kepan Nan, Songyang Zhang, Kai Chen, Dahua Lin, Yang You
• Abstract要約: RVOS(Referring Video Object segmentation)は、対象物を記述する文に基づいて、対象物をすべてのビデオフレームにセグメント化することを目的としたタスクである。 そこで本研究では, RVOS に対する十分な監視を提供しながら, アノテーションの労力を 8 倍に削減する新たなアノテーション方式を提案する。 私たちのスキームは、最初にオブジェクトが現れるフレームのマスクと、残りのフレームのバウンディングボックスのみを必要とする。
• 参考スコア（独自算出の注目度）: 78.45828085350936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring video object segmentation (RVOS) is a task that aims to segment the target object in all video frames based on a sentence describing the object. Although existing RVOS methods have achieved significant performance, they depend on densely-annotated datasets, which are expensive and time-consuming to obtain. In this paper, we propose a new annotation scheme that reduces the annotation effort by 8 times, while providing sufficient supervision for RVOS. Our scheme only requires a mask for the frame where the object first appears and bounding boxes for the rest of the frames. Based on this scheme, we develop a novel RVOS method that exploits weak annotations effectively. Specifically, we build a simple but effective baseline model, SimRVOS, for RVOS with weak annotation. Then, we design a cross frame segmentation module, which uses the language-guided dynamic filters from one frame to segment the target object in other frames to thoroughly leverage the valuable mask annotation and bounding boxes. Finally, we develop a bi-level contrastive learning method to enhance the pixel-level discriminative representation of the model with weak annotation. We conduct extensive experiments to show that our method achieves comparable or even superior performance to fully-supervised methods, without requiring dense mask annotations.
• Abstract（参考訳）: RVOS(Referring Video Object segmentation)は、対象物を記述する文に基づいて、対象物をすべてのビデオフレームにセグメント化するタスクである。 既存の RVOS 手法は性能は高いが,高コストで取得に時間がかかる高密度なアノテーション付きデータセットに依存している。 本稿では, RVOS を十分に監視しながら, アノテーションの労力を 8 倍に削減する新たなアノテーション方式を提案する。 私たちのスキームは、最初にオブジェクトが現れるフレームのマスクと、残りのフレームのバウンディングボックスのみを必要とする。 本研究では,弱いアノテーションを効果的に活用する新しいRVOS手法を提案する。 具体的には,アノテーションの弱いRVOSに対して,シンプルだが効果的なベースラインモデルであるSimRVOSを構築した。 そこで我々は,あるフレームから言語誘導された動的フィルタを用いて,対象オブジェクトを他のフレームに分割し,貴重なマスクアノテーションとバウンディングボックスを徹底的に活用するクロスフレームセグメンテーションモジュールを設計する。 最後に,モデルの画素レベル判別表現を弱アノテーションで強化する2レベルコントラスト学習法を開発した。 マスクアノテーションを必要とせずに,本手法が完全教師付き手法と同等あるいはそれ以上の性能を発揮することを示すため,広範囲な実験を行った。

関連論文リスト

• What is Point Supervision Worth in Video Instance Segmentation? [119.71921319637748]
  ビデオインスタンスセグメンテーション(VIS)は、ビデオ内のオブジェクトを検出し、セグメンテーションし、追跡することを目的とした、難しいビジョンタスクである。 トレーニング中、ビデオフレーム内の各オブジェクトについて、人間のアノテーションを1点に減らし、完全に教師されたモデルに近い高品質なマスク予測を得る。 3つのVISベンチマークに関する総合的な実験は、提案フレームワークの競合性能を示し、完全に教師付きされた手法にほぼ一致する。
  論文  参考訳（メタデータ） (2024-04-01T17:38:25Z)
• Point-VOS: Pointing Up Video Object Segmentation [16.359861197595986]
  現在の最先端のビデオオブジェクト(VOS)メソッドは、トレーニングとテストの両方において、オブジェクトごとの密集したマスクアノテーションに依存している。 本稿では,その労力を大幅に削減する疎時間的ポイントワイドアノテーションスキームを備えた新しいPoint-VOSタスクを提案する。 ビデオナラティブグラウンドディング(VNG)タスクで評価することで、視覚と言語を接続するモデルを改善するために、我々のデータが利用できることを示す。
  論文  参考訳（メタデータ） (2024-02-08T18:52:23Z)
• Learning the What and How of Annotation in Video Object Segmentation [11.012995995497029]
  ビデオオブジェクト(VOS)は、ビデオ編集からビデオデータ生成まで、いくつかのアプリケーションにとって不可欠である。 従来のアノテート手法では、ビデオフレームごとにターゲットオブジェクトに詳細なセグメンテーションマスクを描く必要がある。 ビデオオブジェクトセグメンテーションのためのヒューマン・イン・ザ・ループアノテーションフレームワークであるEVA-VOSを提案する。
  論文  参考訳（メタデータ） (2023-11-08T00:56:31Z)
• Towards Robust Video Object Segmentation with Adaptive Object Calibration [18.094698623128146]
  ビデオオブジェクトセグメンテーション(VOS)は、参照フレームの注釈付きオブジェクトマスクを与えられたビデオのすべてのターゲットフレームにおけるオブジェクトのセグメンテーションを目的としている。 本稿では,オブジェクト表現を適応的に構築し,オブジェクトマスクを校正して強靭性を実現する,新しいディープネットワークを提案する。 本モデルは,既存の出版作品の最先端性能を達成し,摂動に対する優れた堅牢性を示す。
  論文  参考訳（メタデータ） (2022-07-02T17:51:29Z)
• FreeSOLO: Learning to Segment Objects without Annotations [191.82134817449528]
  我々は,単純なインスタンスセグメンテーションメソッドSOLO上に構築された自己教師型インスタンスセグメンテーションフレームワークであるFreeSOLOを紹介する。 また,本手法では,複雑なシーンからオブジェクトを教師なしで検出する,新たなローカライズ対応事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-24T16:31:44Z)
• Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in Videos [159.02703673838639]
  フレーム毎のバウンディングボックスアノテーションからセグメンテーションマスクを生成する手法を動画で紹介します。 得られた正確なマスクを用いて、ビデオオブジェクトセグメンテーション(VOS)ネットワークの弱い教師付きトレーニングを行う。 追加データは、VOSとより困難なトラッキングドメインの両方で最先端の結果をもたらす大幅に優れた一般化パフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-01-06T18:56:24Z)
• Reducing the Annotation Effort for Video Object Segmentation Datasets [50.893073670389164]
  ピクセルマスクでフレームを密にラベル付けしても 大規模なデータセットにはスケールしない 我々は、より安価なバウンディングボックスアノテーションからピクセルレベルで擬似ラベルを自動生成するために、深層畳み込みネットワークを使用します。 我々は新しいTAO-VOSベンチマークを取得し、www.vision.rwth-aachen.de/page/taovosで公開している。
  論文  参考訳（メタデータ） (2020-11-02T17:34:45Z)
• Learning Video Object Segmentation from Unlabeled Videos [158.18207922363783]
  未ラベルビデオからのオブジェクトパターン学習に対処するビデオオブジェクトセグメンテーション(VOS)を提案する。 複数の粒度で VOS の特性を包括的にキャプチャする,教師なし/弱教師付き学習フレームワーク MuG を導入している。
  論文  参考訳（メタデータ） (2020-03-10T22:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。