論文の概要: Self-supervised Video Object Segmentation with Distillation Learning of Deformable Attention

• arxiv url: http://arxiv.org/abs/2401.13937v2
• Date: Mon, 18 Mar 2024 05:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 02:12:30.839905
• Title: Self-supervised Video Object Segmentation with Distillation Learning of Deformable Attention
• Title（参考訳）: 変形性注意の蒸留学習による自己教師付きビデオオブジェクトセグメンテーション
• Authors: Quang-Trung Truong, Duc Thanh Nguyen, Binh-Son Hua, Sai-Kit Yeung,
• Abstract要約: ビデオオブジェクトセグメンテーションはコンピュータビジョンの基本的な研究課題である。 変形性注意の蒸留学習に基づく自己教師型ビデオオブジェクトセグメンテーション法を提案する。
• 参考スコア（独自算出の注目度）: 29.62044843067169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video object segmentation is a fundamental research problem in computer vision. Recent techniques have often applied attention mechanism to object representation learning from video sequences. However, due to temporal changes in the video data, attention maps may not well align with the objects of interest across video frames, causing accumulated errors in long-term video processing. In addition, existing techniques have utilised complex architectures, requiring highly computational complexity and hence limiting the ability to integrate video object segmentation into low-powered devices. To address these issues, we propose a new method for self-supervised video object segmentation based on distillation learning of deformable attention. Specifically, we devise a lightweight architecture for video object segmentation that is effectively adapted to temporal changes. This is enabled by deformable attention mechanism, where the keys and values capturing the memory of a video sequence in the attention module have flexible locations updated across frames. The learnt object representations are thus adaptive to both the spatial and temporal dimensions. We train the proposed architecture in a self-supervised fashion through a new knowledge distillation paradigm where deformable attention maps are integrated into the distillation loss. We qualitatively and quantitatively evaluate our method and compare it with existing methods on benchmark datasets including DAVIS 2016/2017 and YouTube-VOS 2018/2019. Experimental results verify the superiority of our method via its achieved state-of-the-art performance and optimal memory usage.
• Abstract（参考訳）: ビデオオブジェクトセグメンテーションはコンピュータビジョンの基本的な研究課題である。 最近の技術は、ビデオシーケンスからのオブジェクト表現学習にしばしば注意機構を適用している。 しかし、ビデオデータの時間的変化により、アテンションマップはビデオフレーム間の関心の対象とうまく一致せず、長時間のビデオ処理においてエラーが蓄積される可能性がある。 さらに、既存の技術は複雑なアーキテクチャを利用しており、高い計算複雑性を必要としているため、低出力デバイスにビデオオブジェクトのセグメンテーションを統合する能力は制限されている。 これらの課題に対処するために,変形性注意の蒸留学習に基づく自己教師型ビデオオブジェクトセグメンテーションを提案する。 具体的には、時間的変化に効果的に適用可能な、ビデオオブジェクトセグメンテーションのための軽量なアーキテクチャを考案する。 これは、アテンションモジュール内のビデオシーケンスのメモリをキャプチャするキーと値が、フレーム間でフレキシブルな位置を更新する、変形可能なアテンション機構によって実現される。 したがって、学習対象表現は空間次元と時間次元の両方に適応する。 提案手法は, 変形性アテンションマップを蒸留損失に組み込んだ新しい知識蒸留パラダイムを用いて, 自己指導型アーキテクチャを訓練する。 DAVIS 2016/2017 や YouTube-VOS 2018/2019 などのベンチマークデータセット上で,本手法を質的に定量的に評価し,既存の手法と比較した。 実験により,本手法が達成した最先端性能と最適なメモリ使用量により,本手法の優位性を検証した。

関連論文リスト

• Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended? [22.191260650245443]
  ビデオセグメント化は、ビデオシーケンスを、オブジェクトやフレーム内の関心領域に基づいて意味のあるセグメントに分割することを目的としている。 現在のビデオセグメンテーションモデルは、しばしば画像セグメンテーション技術から派生している。 本研究では,空間的・時間的特徴集約を向上する学習戦略であるMasked Video Consistencyを提案する。
  論文  参考訳（メタデータ） (2024-08-20T08:08:32Z)
• Rethinking Image-to-Video Adaptation: An Object-centric Perspective [61.833533295978484]
  本稿では,オブジェクト中心の視点から,画像から映像への適応戦略を提案する。 人間の知覚に触発されて、物体発見のプロキシタスクを画像-映像間移動学習に統合する。
  論文  参考訳（メタデータ） (2024-07-09T13:58:10Z)
• Spatial-Temporal Multi-level Association for Video Object Segmentation [89.32226483171047]
  本稿では,参照フレーム,テストフレーム,オブジェクト特徴を相互に関連付ける空間的・時間的多レベルアソシエーションを提案する。 具体的には,空間的・時間的多段階特徴関連モジュールを構築し,より優れた目標認識特徴を学習する。
  論文  参考訳（メタデータ） (2024-04-09T12:44:34Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking [33.75267864844047]
  ビデオオブジェクト(VOS)は、より大きなデータセットとより複雑で現実的な設定が利用できるという、ますます重要な問題として現れています。 本稿では,上記の課題を体系的に分析し,対処することを目的とした,クリップ型DETR方式のエンコーダデコーダアーキテクチャを提案する。 具体的には、物体が大きな変形を受ける映像の一部に学習を集中させる新しい変換認識損失を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:02:03Z)
• Patch-based Object-centric Transformers for Efficient Video Generation [71.55412580325743]
  本稿では,新しい領域ベースビデオ生成アーキテクチャであるPatch-based Object-centric Video Transformer(POVT)を提案する。 圧縮ビデオの離散遅延空間上の自己回帰変換器を用いて、ビデオ予測における先行作業を構築した。 オブジェクト中心表現の圧縮性の向上により、より長い水平時間情報に対してオブジェクト情報のみにアクセスできるようにすることで、トレーニング効率を向上させることができる。
  論文  参考訳（メタデータ） (2022-06-08T16:29:59Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Coherent Loss: A Generic Framework for Stable Video Segmentation [103.78087255807482]
  ビデオセグメンテーションの結果の視覚的品質を,ジッタリングアーティファクトがいかに劣化させるかを検討する。 本稿では,ニューラルネットワークの性能向上を目的とした汎用フレームワークを備えたコヒーレントロスを提案する。
  論文  参考訳（メタデータ） (2020-10-25T10:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。