論文の概要: Breaking the "Object" in Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2212.06200v1
• Date: Mon, 12 Dec 2022 19:22:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:37:56.052046
• Title: Breaking the "Object" in Video Object Segmentation
• Title（参考訳）: ビデオオブジェクトセグメンテーションにおける「オブジェクト」の分解
• Authors: Pavel Tokmakov, Jie Li, Adrien Gaidon
• Abstract要約: 変換(VOST)に基づくビデオオブジェクトのデータセットを提案する。 700以上の高解像度ビデオで構成され、さまざまな環境で撮影され、平均20秒の長さで、マスクのインスタンスで密にラベル付けされている。 これらのビデオは、複雑なオブジェクト変換に焦点を合わせ、その完全な時間的範囲を捉えるために、注意深いマルチステップのアプローチが採用されている。 本研究は,本課題に適用した場合の既存手法の問題点と,その主な限界が,静的な外観上の過度な信頼にあることを示す。
• 参考スコア（独自算出の注目度）: 36.20167854011788
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The appearance of an object can be fleeting when it transforms. As eggs are broken or paper is torn, their color, shape and texture can change dramatically, preserving virtually nothing of the original except for the identity itself. Yet, this important phenomenon is largely absent from existing video object segmentation (VOS) benchmarks. In this work, we close the gap by collecting a new dataset for Video Object Segmentation under Transformations (VOST). It consists of more than 700 high-resolution videos, captured in diverse environments, which are 20 seconds long on average and densely labeled with instance masks. A careful, multi-step approach is adopted to ensure that these videos focus on complex object transformations, capturing their full temporal extent. We then extensively evaluate state-of-the-art VOS methods and make a number of important discoveries. In particular, we show that existing methods struggle when applied to this novel task and that their main limitation lies in over-reliance on static appearance cues. This motivates us to propose a few modifications for the top-performing baseline that improve its capabilities by better modeling spatio-temporal information. But more broadly, the hope is to stimulate discussion on learning more robust video object representations.
• Abstract（参考訳）: 物体の外観は、それが変形するときに浮かび上がることがある。 卵が折れたり、紙が破れてしまうと、その色、形、テクスチャが劇的に変化し、アイデンティティ自体を除いてオリジナルのものはほとんど保存されない。 しかし、この重要な現象は既存のvos(video object segmentation)ベンチマークにはほとんど及ばない。 本研究では,ビデオオブジェクトセグメンテーションのための新しいデータセットを変換(VOST)下で収集することで,そのギャップを埋める。 700以上の高解像度ビデオで構成され、さまざまな環境で撮影され、平均20秒の長さで、インスタンスマスクでラベル付けされている。 これらのビデオは、複雑なオブジェクト変換に焦点を合わせ、その完全な時間的範囲を捉えるために、注意深いマルチステップのアプローチが採用されている。 次に、最先端のVOS手法を広く評価し、多くの重要な発見を行う。 特に,本課題に適用された場合,既存の手法は困難であり,その主な限界は静的な外観上の過度な信頼にあることを示す。 これにより、時空間情報のモデリングを改善することにより、その能力を改善するトップパフォーマンスベースラインのいくつかの変更を提案する動機付けとなります。 しかし、より広範に、より堅牢なビデオオブジェクト表現の学習に関する議論を刺激することを期待している。

関連論文リスト

• Self-supervised Video Object Segmentation with Distillation Learning of Deformable Attention [29.62044843067169]
  ビデオオブジェクトセグメンテーションはコンピュータビジョンの基本的な研究課題である。 変形性注意の蒸留学習に基づく自己教師型ビデオオブジェクトセグメンテーション法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T04:39:48Z)
• TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking [33.75267864844047]
  ビデオオブジェクト(VOS)は、より大きなデータセットとより複雑で現実的な設定が利用できるという、ますます重要な問題として現れています。 本稿では,上記の課題を体系的に分析し,対処することを目的とした,クリップ型DETR方式のエンコーダデコーダアーキテクチャを提案する。 具体的には、物体が大きな変形を受ける映像の一部に学習を集中させる新しい変換認識損失を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:02:03Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
  本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。 InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。 数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
  論文  参考訳（メタデータ） (2023-03-14T17:58:44Z)
• Towards Robust Video Object Segmentation with Adaptive Object Calibration [18.094698623128146]
  ビデオオブジェクトセグメンテーション(VOS)は、参照フレームの注釈付きオブジェクトマスクを与えられたビデオのすべてのターゲットフレームにおけるオブジェクトのセグメンテーションを目的としている。 本稿では,オブジェクト表現を適応的に構築し,オブジェクトマスクを校正して強靭性を実現する,新しいディープネットワークを提案する。 本モデルは,既存の出版作品の最先端性能を達成し,摂動に対する優れた堅牢性を示す。
  論文  参考訳（メタデータ） (2022-07-02T17:51:29Z)
• The Second Place Solution for The 4th Large-scale Video Object Segmentation Challenge--Track 3: Referring Video Object Segmentation [18.630453674396534]
  ReferFormerは、すべてのビデオフレームで言語表現によって参照される所定のビデオでオブジェクトインスタンスをセグメントすることを目的としている。 本研究は, 循環学習率, 半教師付きアプローチ, テスト時間拡張推論など, さらなる向上策を提案する。 改良されたReferFormerはCVPR2022 Referring Youtube-VOS Challengeで2位にランクインした。
  論文  参考訳（メタデータ） (2022-06-24T02:15:06Z)
• HODOR: High-level Object Descriptors for Object Re-segmentation in Video Learned from Static Images [123.65233334380251]
  オブジェクトの外観やシーンコンテキストを理解するために,注釈付き静的イメージを効果的に活用する新しい手法であるHODORを提案する。 その結果、HODORはDAVISとYouTube-VOSベンチマークで最先端のパフォーマンスを達成した。 アーキテクチャの変更なしに、HODORは単一の注釈付きビデオフレームに関するビデオコンテキストから学ぶこともできる。
  論文  参考訳（メタデータ） (2021-12-16T18:59:53Z)
• Occlusion-Aware Video Object Inpainting [72.38919601150175]
  本稿では,映像における隠蔽物体の完全な形状と外観を復元する,隠蔽型映像オブジェクトの塗装について述べる。 我々の技術貢献であるVOINは、ビデオオブジェクト形状の完成と隠蔽テクスチャ生成を共同で行う。 より現実的な結果を得るために、VOINはT-PatchGANと新しい時間的YouTubeアテンションベースのマルチクラス識別器の両方を使用して最適化されている。
  論文  参考訳（メタデータ） (2021-08-15T15:46:57Z)
• Few-Shot Learning for Video Object Detection in a Transfer-Learning Scheme [70.45901040613015]
  ビデオ物体検出のための数発学習の新たな課題について検討する。 我々は,多数のベースクラスオブジェクトに対して映像物体検出を効果的に訓練するトランスファー学習フレームワークと,ノベルクラスオブジェクトのいくつかのビデオクリップを用いる。
  論文  参考訳（メタデータ） (2021-03-26T20:37:55Z)
• Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in Videos [159.02703673838639]
  フレーム毎のバウンディングボックスアノテーションからセグメンテーションマスクを生成する手法を動画で紹介します。 得られた正確なマスクを用いて、ビデオオブジェクトセグメンテーション(VOS)ネットワークの弱い教師付きトレーニングを行う。 追加データは、VOSとより困難なトラッキングドメインの両方で最先端の結果をもたらす大幅に優れた一般化パフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-01-06T18:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。