論文の概要: Offline-to-Online Knowledge Distillation for Video Instance Segmentation

• arxiv url: http://arxiv.org/abs/2302.07516v1
• Date: Wed, 15 Feb 2023 08:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 15:33:23.225940
• Title: Offline-to-Online Knowledge Distillation for Video Instance Segmentation
• Title（参考訳）: ビデオインスタンス分割のためのオフライン・オンライン知識蒸留
• Authors: Hojin Kim, Seunghun Lee, and Sunghoon Im
• Abstract要約: ビデオインスタンスセグメンテーション(VIS)のためのオフライン-オンライン知識蒸留(OOKD)を提案する。 本手法は,オフラインモデルからオンラインモデルに豊富な映像知識を伝達し,一貫した予測を行う。 また,YTVIS-21,YTVIS-22,OVISデータセットのmAPスコアは46.1%,43.6%,31.1%であった。
• 参考スコア（独自算出の注目度）: 13.270872063217022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present offline-to-online knowledge distillation (OOKD) for video instance segmentation (VIS), which transfers a wealth of video knowledge from an offline model to an online model for consistent prediction. Unlike previous methods that having adopting either an online or offline model, our single online model takes advantage of both models by distilling offline knowledge. To transfer knowledge correctly, we propose query filtering and association (QFA), which filters irrelevant queries to exact instances. Our KD with QFA increases the robustness of feature matching by encoding object-centric features from a single frame supplemented by long-range global information. We also propose a simple data augmentation scheme for knowledge distillation in the VIS task that fairly transfers the knowledge of all classes into the online model. Extensive experiments show that our method significantly improves the performance in video instance segmentation, especially for challenging datasets including long, dynamic sequences. Our method also achieves state-of-the-art performance on YTVIS-21, YTVIS-22, and OVIS datasets, with mAP scores of 46.1%, 43.6%, and 31.1%, respectively.
• Abstract（参考訳）: 本稿では,ビデオインスタンス分割のためのオフラインからオンラインまでの知識蒸留(OOKD)について述べる。 オンラインモデルとオフラインモデルの両方を採用する従来の方法とは異なり、当社のオンラインモデルは、オフラインの知識を蒸留することで両方のモデルを活用する。 知識を正確に伝達するために,クエリフィルタリングとアソシエーション(QFA)を提案する。 我々のQFAを用いたKDは、長距離グローバル情報によって補完された単一のフレームからオブジェクト中心の特徴を符号化することで、特徴マッチングの堅牢性を高める。 また,全クラスの知識をオンラインモデルに公平に伝達するvisタスクにおいて,知識蒸留のための簡易データ拡張スキームを提案する。 広範囲な実験により,ビデオインスタンスのセグメンテーション,特に長大な動的シーケンスを含むデータセットに対する性能が著しく向上することが示された。 また,YTVIS-21,YTVIS-22,OVISデータセットのmAPスコアは46.1%,43.6%,31.1%であった。

関連論文リスト

• TCOVIS: Temporally Consistent Online Video Instance Segmentation [98.29026693059444]
  そこで我々は,TCOVISというビデオインスタンスセグメンテーションのための新しいオンライン手法を提案する。 本手法のコアは,グローバルなインスタンス割り当て戦略とビデオ時間拡張モジュールから構成される。 提案手法を4つのVISベンチマークで評価し,ベル・アンド・ウィストルを使わずに全ベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-21T07:59:15Z)
• CTVIS: Consistent Training for Online Video Instance Segmentation [62.957370691452844]
  オンラインビデオインスタンスセグメンテーション(VIS)におけるインスタンスの関連付けにおいて,インスタンス埋め込みの識別が重要な役割を担っている 近年のオンラインVIS手法では,参照フレームのみから派生したCIを活用している。 我々は,オンラインVIS(Consistent Training for Online VIS)と呼ばれる,トレーニングパイプラインと推論パイプラインの整合性を重視した,シンプルで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:44:25Z)
• Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation [84.3695480773597]
  我々はインスタンス・アズ・アイデンティティ(IAI)という新しいオンラインVISパラダイムを提案する。 IAIは、検出と追跡の両方の時間情報を効率的な方法でモデル化する。 3つのVISベンチマークで広範な実験を行う。
  論文  参考訳（メタデータ） (2022-08-05T10:29:30Z)
• Video Mask Transfiner for High-Quality Video Instance Segmentation [102.50936366583106]
  Video Mask Transfiner (VMT) は、高効率なビデオトランス構造により、微細な高解像度機能を利用することができる。 当社のVMTアーキテクチャに基づいて,反復的トレーニングと自己補正による自動アノテーション改善アプローチを設計する。 我々はVMTとHQ-YTVISの最新の最先端手法、Youtube-VIS、OVIS、BDD100K MOTSを比較した。
  論文  参考訳（メタデータ） (2022-07-28T11:13:37Z)
• In Defense of Online Models for Video Instance Segmentation [70.16915119724757]
  比較学習に基づくオンライン・フレームワークを提案する。 その単純さにもかかわらず、我々の方法は3つのベンチマークでオンラインおよびオフラインのすべてのメソッドより優れています。 提案手法は,第4回大規模ビデオオブジェクトチャレンジのビデオインスタンスセグメンテーショントラックで優勝した。
  論文  参考訳（メタデータ） (2022-07-21T17:56:54Z)
• Crossover Learning for Fast Online Video Instance Segmentation [53.5613957875507]
  本稿では,現在のフレームのインスタンス特徴を用いて,他のフレームで同じインスタンスをピクセル単位でローカライズする,新しいクロスオーバー学習方式を提案する。 私たちの知る限り、CrossVISはすべてのオンラインVISメソッドの中で最先端のパフォーマンスを達成し、レイテンシと精度の適切なトレードオフを示します。
  論文  参考訳（メタデータ） (2021-04-13T06:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。