論文の概要: DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries
- arxiv url: http://arxiv.org/abs/2404.00086v1
- Date: Fri, 29 Mar 2024 17:58:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 07:27:29.249516
- Title: DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries
- Title（参考訳）: DVIS-DAQ:動的アンカークエリによるビデオセグメンテーションの改善
- Authors: Yikang Zhou, Tao Zhang, Shunping JI, Shuicheng Yan, Xiangtai Li,
- Abstract要約: 動的アンカークエリ(DAQ)を導入し、アンカーとターゲットクエリ間の遷移ギャップを短くする。
また,クエリレベルのオブジェクトEmergence and Disappearance Simulation(EDS)戦略を導入する。
実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
- 参考スコア（独自算出の注目度）: 60.09774333024783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern video segmentation methods adopt object queries to perform inter-frame association and demonstrate satisfactory performance in tracking continuously appearing objects despite large-scale motion and transient occlusion. However, they all underperform on newly emerging and disappearing objects that are common in the real world because they attempt to model object emergence and disappearance through feature transitions between background and foreground queries that have significant feature gaps. We introduce Dynamic Anchor Queries (DAQ) to shorten the transition gap between the anchor and target queries by dynamically generating anchor queries based on the features of potential candidates. Furthermore, we introduce a query-level object Emergence and Disappearance Simulation (EDS) strategy, which unleashes DAQ's potential without any additional cost. Finally, we combine our proposed DAQ and EDS with DVIS~\cite{zhang2023dvis} to obtain DVIS-DAQ. Extensive experiments demonstrate that DVIS-DAQ achieves a new state-of-the-art (SOTA) performance on five mainstream video segmentation benchmarks. Code and models are available at \url{https://github.com/SkyworkAI/DAQ-VS}.
- Abstract（参考訳）: 現代のビデオセグメンテーション手法では、大規模な動きや過渡的閉塞にもかかわらず、オブジェクトクエリを用いてフレーム間アソシエーションを行い、連続的に現れるオブジェクトを追跡するのに満足な性能を示す。
しかし、それらはいずれも、背景と前景のクエリ間の大きな特徴ギャップを持つ特徴遷移を通じて、オブジェクトの出現と消失をモデル化しようとするために、現実世界でよく見られる、新しく出現し、消滅するオブジェクトに過小評価されている。
本稿では,潜在的な候補の特徴に基づいて,アンカークエリを動的に生成することにより,アンカーとターゲットクエリ間の遷移ギャップを短くする動的アンカークエリ(DAQ)を提案する。
さらに,クエリレベルのオブジェクトEmergence and Disappearance Simulation (EDS) 戦略を導入する。
最後に、提案したDAQとEDSをDVIS~\cite{zhang2023dvis}と組み合わせてDVIS-DAQを得る。
大規模な実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
コードとモデルは \url{https://github.com/SkyworkAI/DAQ-VS} で公開されている。
関連論文リスト
- DynamicER: Resolving Emerging Mentions to Dynamic Entities for RAG [40.40642344216866]
動的エンティティへの新たな言及の解決を目的とした新しいタスクを導入する。
私たちのベンチマークには、動的エンティティ参照解決とエンティティ中心の知識集約型QAタスクが含まれています。
本稿では,進化する実体と出現する言及の時間的ダイナミクスを効果的に管理する,連続的適応型時間分割クラスタリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-15T10:57:12Z) - Learning Spatial-Semantic Features for Robust Video Object Segmentation [108.045326229865]
空間意味的特徴と識別的オブジェクトクエリを備えたロバストなビデオオブジェクトセグメンテーションフレームワークを提案する。
提案手法は,複数のデータセットに対して新しい最先端性能を設定できることを示す。
論文 参考訳（メタデータ） (2024-07-10T15:36:00Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement [39.154059294954614]
オンラインビデオインスタンス (VIS) 法は、強力なクエリベースの検出器によって著しく進歩している。
しかし,これらの手法は位置情報に大きく依存していることが観察された。
本稿では,トラッカーにおける物体マッチングの鍵軸は外観情報であり,位置的手がかりが不十分な状況下では,その特徴を識別する上で非常に指導的になることを示す。
論文 参考訳（メタデータ） (2023-12-08T07:48:03Z) - Betrayed by Attention: A Simple yet Effective Approach for Self-supervised Video Object Segmentation [76.68301884987348]
自己教師型ビデオオブジェクトセグメンテーション(VOS)のための簡易かつ効果的なアプローチを提案する。
我々の重要な洞察は、DINO-pretrained Transformerに存在する構造的依存関係を利用して、ビデオ内の堅牢な時間分割対応を確立することである。
提案手法は,複数の教師なしVOSベンチマークにまたがる最先端性能を実証し,複雑な実世界のマルチオブジェクトビデオセグメンテーションタスクに優れることを示す。
論文 参考訳（メタデータ） (2023-11-29T18:47:17Z) - FODVid: Flow-guided Object Discovery in Videos [12.792602427704395]
我々は、個々の複雑さに過度に適合しないように、一般化可能なソリューションを構築することに注力する。
教師なしの環境でビデオオブジェクト(VOS)を解決するために,セグメント出力の導出に基づく新しいパイプライン(FODVid)を提案する。
論文 参考訳（メタデータ） (2023-07-10T07:55:42Z) - Semantic-aware Dynamic Retrospective-Prospective Reasoning for
Event-level Video Question Answering [14.659023742381777]
Event-Level Video Question Answering (EVQA)は、最適な回答を提供するために、ビデオイベント間の複雑な推論を必要とする。
本稿では,映像に基づく質問応答のための意味認識動的ふりかえり推論手法を提案する。
提案手法は,従来の最先端モデルと比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2023-05-14T03:57:11Z) - Scalable Video Object Segmentation with Identification Mechanism [125.4229430216776]
本稿では,半教師付きビデオオブジェクト(VOS)のスケーラブルで効果的なマルチオブジェクトモデリングを実現する上での課題について検討する。
AOT(Associating Objects with Transformers)とAOST(Associating Objects with Scalable Transformers)の2つの革新的なアプローチを提案する。
当社のアプローチは最先端の競合に勝って,6つのベンチマークすべてにおいて,例外的な効率性とスケーラビリティを一貫して示しています。
論文 参考訳（メタデータ） (2022-03-22T03:33:27Z) - Fast Video Object Segmentation With Temporal Aggregation Network and
Dynamic Template Matching [67.02962970820505]
ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。
本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。
我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-11T05:44:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。