論文の概要: Learning the What and How of Annotation in Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2311.04414v2
• Date: Sat, 11 Nov 2023 19:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 19:24:35.017907
• Title: Learning the What and How of Annotation in Video Object Segmentation
• Title（参考訳）: ビデオオブジェクトセグメンテーションにおけるアノテーションの学習
• Authors: Thanos Delatolas, Vicky Kalogeiton, Dim P. Papadopoulos
• Abstract要約: ビデオオブジェクト(VOS)は、ビデオ編集からビデオデータ生成まで、いくつかのアプリケーションにとって不可欠である。 従来のアノテート手法では、ビデオフレームごとにターゲットオブジェクトに詳細なセグメンテーションマスクを描く必要がある。 ビデオオブジェクトセグメンテーションのためのヒューマン・イン・ザ・ループアノテーションフレームワークであるEVA-VOSを提案する。
• 参考スコア（独自算出の注目度）: 11.012995995497029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Object Segmentation (VOS) is crucial for several applications, from video editing to video data generation. Training a VOS model requires an abundance of manually labeled training videos. The de-facto traditional way of annotating objects requires humans to draw detailed segmentation masks on the target objects at each video frame. This annotation process, however, is tedious and time-consuming. To reduce this annotation cost, in this paper, we propose EVA-VOS, a human-in-the-loop annotation framework for video object segmentation. Unlike the traditional approach, we introduce an agent that predicts iteratively both which frame ("What") to annotate and which annotation type ("How") to use. Then, the annotator annotates only the selected frame that is used to update a VOS module, leading to significant gains in annotation time. We conduct experiments on the MOSE and the DAVIS datasets and we show that: (a) EVA-VOS leads to masks with accuracy close to the human agreement 3.5x faster than the standard way of annotating videos; (b) our frame selection achieves state-of-the-art performance; (c) EVA-VOS yields significant performance gains in terms of annotation time compared to all other methods and baselines.
• Abstract（参考訳）: ビデオオブジェクトセグメンテーション(VOS)は、ビデオ編集からビデオデータ生成まで、いくつかのアプリケーションにとって不可欠である。 VOSモデルのトレーニングには、手動でラベル付けされたトレーニングビデオが多数必要である。 オブジェクトをアノテートする方法のデファクトでは、ビデオフレームごとにターゲットオブジェクトに詳細なセグメンテーションマスクを描く必要がある。 しかし、このアノテーションプロセスは退屈で時間がかかります。 このアノテーションコストを削減するため,ビデオオブジェクトセグメンテーションのためのヒューマンインザループアノテーションフレームワークであるEVA-VOSを提案する。 従来のアプローチとは異なり、どのフレーム("What")をアノテーションにするか、どのアノテーションタイプ("How")を使うのかを反復的に予測するエージェントを導入します。 次に、アノテーションはVOSモジュールの更新に使用される選択されたフレームのみに注釈を付け、アノテーションの時間が大幅に向上する。 我々はMOSEとDAVISデータセットの実験を行い、次のように示す。 (a)EVA-VOSは、ビデオの標準的な注釈付け方法よりも3.5倍早く、人間の同意に近い精度のマスクにつながる。 b)我々のフレーム選択は最先端のパフォーマンスを達成する。 c) eva-vosは、他のすべてのメソッドやベースラインと比較して、アノテーション時間の観点から大きなパフォーマンス向上をもたらす。

関連論文リスト

• PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation [15.9587266448337]
  ビデオインスタンスのセグメンテーションには、ビデオ内のオブジェクトを検出し、セグメンテーションし、追跡する必要がある。 本稿では,画像データセットを利用してビデオアノテーションを除去する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T05:22:39Z)
• One-shot Training for Video Object Segmentation [11.52321103793505]
  Video Object(VOS)は、ビデオ内のフレームをまたいだオブジェクトを追跡し、ターゲットオブジェクトの初期アノテーション付きフレームに基づいてそれらをセグメンテーションすることを目的としている。 これまでのVOSの作業は、トレーニングのために完全に注釈付けされたビデオに頼っていた。 VOSのための一般的なワンショットトレーニングフレームワークを提案し、トレーニングビデオあたりのラベル付きフレームは1つしか必要としない。
  論文  参考訳（メタデータ） (2024-05-22T21:37:08Z)
• Point-VOS: Pointing Up Video Object Segmentation [16.359861197595986]
  現在の最先端のビデオオブジェクト(VOS)メソッドは、トレーニングとテストの両方において、オブジェクトごとの密集したマスクアノテーションに依存している。 本稿では,その労力を大幅に削減する疎時間的ポイントワイドアノテーションスキームを備えた新しいPoint-VOSタスクを提案する。 ビデオナラティブグラウンドディング(VNG)タスクで評価することで、視覚と言語を接続するモデルを改善するために、我々のデータが利用できることを示す。
  論文  参考訳（メタデータ） (2024-02-08T18:52:23Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• Learning Referring Video Object Segmentation from Weak Annotation [78.45828085350936]
  RVOS(Referring Video Object segmentation)は、対象物を記述する文に基づいて、対象物をすべてのビデオフレームにセグメント化することを目的としたタスクである。 そこで本研究では, RVOS に対する十分な監視を提供しながら, アノテーションの労力を 8 倍に削減する新たなアノテーション方式を提案する。 私たちのスキームは、最初にオブジェクトが現れるフレームのマスクと、残りのフレームのバウンディングボックスのみを必要とする。
  論文  参考訳（メタデータ） (2023-08-04T06:50:52Z)
• HODOR: High-level Object Descriptors for Object Re-segmentation in Video Learned from Static Images [123.65233334380251]
  オブジェクトの外観やシーンコンテキストを理解するために,注釈付き静的イメージを効果的に活用する新しい手法であるHODORを提案する。 その結果、HODORはDAVISとYouTube-VOSベンチマークで最先端のパフォーマンスを達成した。 アーキテクチャの変更なしに、HODORは単一の注釈付きビデオフレームに関するビデオコンテキストから学ぶこともできる。
  論文  参考訳（メタデータ） (2021-12-16T18:59:53Z)
• Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in Videos [159.02703673838639]
  フレーム毎のバウンディングボックスアノテーションからセグメンテーションマスクを生成する手法を動画で紹介します。 得られた正確なマスクを用いて、ビデオオブジェクトセグメンテーション(VOS)ネットワークの弱い教師付きトレーニングを行う。 追加データは、VOSとより困難なトラッキングドメインの両方で最先端の結果をもたらす大幅に優れた一般化パフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-01-06T18:56:24Z)
• Learning Video Object Segmentation from Unlabeled Videos [158.18207922363783]
  未ラベルビデオからのオブジェクトパターン学習に対処するビデオオブジェクトセグメンテーション(VOS)を提案する。 複数の粒度で VOS の特性を包括的にキャプチャする,教師なし/弱教師付き学習フレームワーク MuG を導入している。
  論文  参考訳（メタデータ） (2020-03-10T22:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。