論文の概要: VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement

• arxiv url: http://arxiv.org/abs/2312.04885v1
• Date: Fri, 8 Dec 2023 07:48:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 15:47:29.730281
• Title: VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
• Title（参考訳）: VISAGE: 外観改善によるビデオインスタンスセグメンテーション
• Authors: Hanjung Kim, Jaehyun Kang, Miran Heo, Sukjun Hwang, Seoung Wug Oh, Seon Joo Kim
• Abstract要約: 本稿では、外観情報を明示的に活用して、インスタンスアソシエーションを強化するVISAGEを提案する。 提案手法は,バックボーン特徴写像の外観を埋め込んだクエリの生成を含む。 複数のVISベンチマークで競合性能を達成する。
• 参考スコア（独自算出の注目度）: 39.154059294954614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, online Video Instance Segmentation (VIS) methods have shown remarkable advancement with their powerful query-based detectors. Utilizing the output queries of the detector at the frame level, these methods achieve high accuracy on challenging benchmarks. However, we observe the heavy reliance of these methods on the location information that leads to incorrect matching when positional cues are insufficient for resolving ambiguities. Addressing this issue, we present VISAGE that enhances instance association by explicitly leveraging appearance information. Our method involves a generation of queries that embed appearances from backbone feature maps, which in turn get used in our suggested simple tracker for robust associations. Finally, enabling accurate matching in complex scenarios by resolving the issue of over-reliance on location information, we achieve competitive performance on multiple VIS benchmarks. For instance, on YTVIS19 and YTVIS21, our method achieves 54.5 AP and 50.8 AP. Furthermore, to highlight appearance-awareness not fully addressed by existing benchmarks, we generate a synthetic dataset where our method outperforms others significantly by leveraging the appearance cue. Code will be made available at https://github.com/KimHanjung/VISAGE.
• Abstract（参考訳）: 近年, オンラインビデオインスタンスセグメンテーション (VIS) 手法は, 強力なクエリベースの検出器によって著しく進歩している。 フレームレベルでの検出器の出力クエリを利用することで、挑戦的なベンチマークにおいて高い精度を実現する。 しかし,これらの手法が,曖昧さの解消に足りていない位置情報と一致しない位置情報に重く依存していることを観察した。 この問題に対処するため, 外観情報を明示的に活用し, インスタンス関連性を高めるVISAGEを提案する。 提案手法は,バックボーン特徴写像から外見を埋め込んだクエリを生成し,ロバストな関連付けのための単純なトラッカーとして利用する。 最後に,位置情報の過度な信頼の問題を解決することで複雑なシナリオにおける正確なマッチングを可能にし,複数のvisベンチマークで競合性能を実現する。 例えば、YTVIS19 と YTVIS21 では、54.5 AP と 50.8 AP を達成する。 さらに,既存のベンチマークでは十分に対応していない外観認識を強調するために,出現傾向を生かして他者よりも優れる合成データセットを生成する。 コードはhttps://github.com/kimhanjung/visageで入手できる。

関連論文リスト

• Context-Aware Video Instance Segmentation [12.71520768233772]
  本稿では,コンテキスト対応型ビデオインスタンス(CAVIS)について紹介する。 本研究では、コンテキスト認識型インスタンス追跡装置(CAIT)を提案する。これは、インスタンスを取り巻くコンテキストデータをコアインスタンス機能とマージすることで、トラッキング精度を向上させる。 また,PCC(Prototypeal Cross-frame Contrastive)ロスを導入し,フレーム間のオブジェクトレベルの特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2024-07-03T11:11:16Z)
• DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries [60.09774333024783]
  動的アンカークエリ(DAQ)を導入し、アンカーとターゲットクエリ間の遷移ギャップを短くする。 また,クエリレベルのオブジェクトEmergence and Disappearance Simulation(EDS)戦略を導入する。 実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-29T17:58:50Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Look Before You Match: Instance Understanding Matters in Video Object Segmentation [114.57723592870097]
  本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。 本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。 我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
  論文  参考訳（メタデータ） (2022-12-13T18:59:59Z)
• Learning to Detect Instance-level Salient Objects Using Complementary Image Labels [55.049347205603304]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2021-11-19T10:15:22Z)
• Weakly Supervised Video Salient Object Detection [79.51227350937721]
  本稿では,relabeled relabeled "fixation guided scribble annotations" に基づく最初の弱教師付きビデオサリエント物体検出モデルを提案する。 効果的なマルチモーダル学習と長期時間文脈モデリングを実現するために,「アプレンス・モーション・フュージョン・モジュール」と双方向のConvLSTMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-06T09:48:38Z)
• Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection [18.04185751827619]
  新規なオブジェクトのきめ細かい特徴を、ほんのわずかなデータで簡単に見落としてしまうため、オブジェクト検出は困難である。 本稿では,少数の検出問題に対処するために,DCNet (Context-aware Aggregation) を用いたDense Relation Distillationを提案する。
  論文  参考訳（メタデータ） (2021-03-30T05:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。