論文の概要: Video Instance Shadow Detection
- arxiv url: http://arxiv.org/abs/2211.12827v1
- Date: Wed, 23 Nov 2022 10:20:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:24:39.781457
- Title: Video Instance Shadow Detection
- Title(参考訳): ビデオインスタンスシャドー検出
- Authors: Zhenghao Xing, Tianyu Wang, Xiaowei Hu, Haoran Wu, Chi-Wing Fu,
Pheng-Ann Heng
- Abstract要約: ビデオインスタンスのシャドウ検出は、ビデオ内のペア化されたシャドウオブジェクト関連を同時に検出、セグメント化、関連付け、追跡することを目的としている。
ビデオ内のシャドーオブジェクト関連を,カテゴリ仕様なしでペアトラッキングで抽出する新しいフレームワークである-Trackを設計する。
我々はラベル付き画像と未ラベル付きビデオの両方を活用し、関連サイクルの整合性損失によって追跡能力を増強することで時間的コヒーレンスを探索する。
- 参考スコア(独自算出の注目度): 109.7945730608291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video instance shadow detection aims to simultaneously detect, segment,
associate, and track paired shadow-object associations in videos. This work has
three key contributions to the task. First, we design SSIS-Track, a new
framework to extract shadow-object associations in videos with paired tracking
and without category specification; especially, we strive to maintain paired
tracking even the objects/shadows are temporarily occluded for several frames.
Second, we leverage both labeled images and unlabeled videos, and explore
temporal coherence by augmenting the tracking ability via an association cycle
consistency loss to optimize SSIS-Track's performance. Last, we build
$\textit{SOBA-VID}$, a new dataset with 232 unlabeled videos of ${5,863}$
frames for training and 60 labeled videos of ${1,182}$ frames for testing.
Experimental results show that SSIS-Track surpasses baselines built from SOTA
video tracking and instance-shadow-detection methods by a large margin. In the
end, we showcase several video-level applications.
- Abstract(参考訳): ビデオインスタンスシャドー検出は、ビデオ中の対のシャドーオブジェクト関連を同時に検出、セグメンテーション、アソシエイト、追跡することを目的としている。
この仕事には3つの重要な貢献がある。
まずSSIS-Trackを設計する。これは、ビデオ内の影オブジェクト関連を、カテゴリー仕様なしで抽出する新しいフレームワークであり、特に、オブジェクトやシャドウが一時的にいくつかのフレームに隠されている場合でも、ペアトラッキングを維持するために努力する。
第2に,ラベル付き画像とラベル付きビデオの両方を利用し,連想サイクル一貫性損失による追跡能力の向上による時間的コヒーレンスを探索し,ssis-trackの性能を最適化する。
最後に、$\textit{soba-vid}$を構築します。新しいデータセットには、トレーニング用の${5,863}$ framesとテスト用の${1,182}$ framesというラベル付きビデオがあります。
SSIS-TrackはSOTAビデオトラッキングとインスタンスシャドウ検出法で構築したベースラインを大きなマージンで上回ることを示す実験結果を得た。
最後に、ビデオレベルのアプリケーションをいくつか紹介する。
関連論文リスト
- Tracking with Human-Intent Reasoning [64.69229729784008]
この作業では、新しいトラッキングタスクであるインストラクショントラッキングを提案している。
ビデオフレーム内で自動的にトラッキングを実行するようにトラッカーに要求する暗黙の追跡命令を提供する。
TrackGPTは複雑な推論ベースの追跡を行うことができる。
論文 参考訳(メタデータ) (2023-12-29T03:22:18Z) - Tracking by Associating Clips [110.08925274049409]
本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。
我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。
この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。
次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
論文 参考訳(メタデータ) (2022-12-20T10:33:17Z) - 1st Place Solution for YouTubeVOS Challenge 2021:Video Instance
Segmentation [0.39146761527401414]
ビデオインスタンス(VIS)は、検出、セグメンテーション、トラッキングを同時に実行するマルチタスク問題である。
我々はTemporally Correlated Instance (TCIS) と Bidirectional Tracking (BiTrack) という2つのモジュールを提案する。
これらの手法をトリックの袋と組み合わせることで、ネットワーク性能はベースラインに比べて大幅に向上する。
論文 参考訳(メタデータ) (2021-06-12T00:20:38Z) - Triple-cooperative Video Shadow Detection [43.030759888063194]
60のオブジェクトカテゴリ、さまざまな長さ、異なるモーション/照明条件をカバーする、11,685フレームの120のビデオを含む新しいビデオシャドウ検出データセットを収集します。
また、新しいベースラインモデルであるトリプル協調ビデオシャドウ検出ネットワーク(TVSD-Net)も開発している。
ネットワーク内では、同一ビデオ内の隣接するフレームから特徴を制限するためにデュアルゲートコアテンションモジュールが提案され、異なるビデオ間で意味情報をマイニングするために補助的な類似性損失が導入された。
論文 参考訳(メタデータ) (2021-03-11T08:54:19Z) - TrackFormer: Multi-Object Tracking with Transformers [92.25832593088421]
TrackFormerはエンコーダデコーダトランスフォーマーアーキテクチャに基づくエンドツーエンドのマルチオブジェクトトラッキングおよびセグメンテーションモデルです。
新しいトラッククエリはDETRオブジェクト検出器によって生成され、時間とともに対応するオブジェクトの位置を埋め込む。
trackformerは新しいトラッキング・バイ・アテンションパラダイムでフレーム間のシームレスなデータ関連付けを実現する。
論文 参考訳(メタデータ) (2021-01-07T18:59:29Z) - CompFeat: Comprehensive Feature Aggregation for Video Instance
Segmentation [67.17625278621134]
ビデオインスタンスのセグメンテーションは、特定のビデオのそれぞれのオブジェクトを検出し、セグメンテーションし、追跡する必要がある複雑なタスクです。
従来のアプローチは、オブジェクトの検出、セグメンテーション、追跡にのみシングルフレーム機能を使用します。
本稿では,時間的および空間的コンテキスト情報を用いて,フレームレベルとオブジェクトレベルでの機能を洗練する新しい包括的特徴集約アプローチ(compfeat)を提案する。
論文 参考訳(メタデータ) (2020-12-07T00:31:42Z) - Single Shot Video Object Detector [215.06904478667337]
Single Shot Video Object Detector (SSVD)は、新しいアーキテクチャであり、ビデオ内のオブジェクト検出のための1段階の検出器に機能集約を新規に統合する。
448の448ドルの入力で、SSVDはImageNet VIDデータセットで79.2%のmAPを達成した。
論文 参考訳(メタデータ) (2020-07-07T15:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。