論文の概要: Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2308.13505v1
• Date: Fri, 25 Aug 2023 17:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-08-28 13:02:08.332752
• Title: Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation
• Title（参考訳）: 映像オブジェクトセグメンテーションのための特徴量・対応性・圧縮メモリの協調モデリング
• Authors: Jiaming Zhang, Yutao Cui, Gangshan Wu, Limin Wang
• Abstract要約: 現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。 本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
• 参考スコア（独自算出の注目度）: 52.11279360934703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current prevailing Video Object Segmentation (VOS) methods usually perform dense matching between the current and reference frames after extracting their features. One on hand, the decoupled modeling restricts the targets information propagation only at high-level feature space. On the other hand, the pixel-wise matching leads to a lack of holistic understanding of the targets. To overcome these issues, we propose a unified VOS framework, coined as JointFormer, for joint modeling the three elements of feature, correspondence, and a compressed memory. The core design is the Joint Block, utilizing the flexibility of attention to simultaneously extract feature and propagate the targets information to the current tokens and the compressed memory token. This scheme allows to perform extensive information propagation and discriminative feature learning. To incorporate the long-term temporal targets information, we also devise a customized online updating mechanism for the compressed memory token, which can prompt the information flow along the temporal dimension and thus improve the global modeling capability. Under the design, our method achieves a new state-of-art performance on DAVIS 2017 val/test-dev (89.7% and 87.6%) and YouTube-VOS 2018/2019 val (87.0% and 87.0%) benchmarks, outperforming existing works by a large margin.
• Abstract（参考訳）: 現在のビデオオブジェクトセグメンテーション(VOS)メソッドは、通常、特徴を抽出した後、現在のフレームと参照フレームの密マッチングを実行する。 一方、分離されたモデリングは、高レベルな特徴空間でのみターゲット情報伝搬を制限する。 一方、ピクセル単位でのマッチングは、ターゲットの全体的理解の欠如につながる。 これらの問題を解決するために,特徴,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。 中心となる設計はジョイントブロックであり、注意の柔軟性を利用して特徴を抽出し、ターゲット情報を現在のトークンと圧縮メモリトークンに伝播する。 このスキームは、広範な情報伝達と識別的特徴学習を可能にする。 長期の時間的目標情報を組み込むため、圧縮されたメモリトークンのオンライン更新機構を考案し、時間的次元に沿った情報の流れを誘導し、グローバルなモデリング能力を向上させる。 DAVIS 2017 val/test-dev (89.7% と 87.6%) と YouTube-VOS 2018/2019 val (87.0% と 87.0%) のベンチマークでは、新しい最先端のパフォーマンスを実現し、既存の作業よりも大きなマージンを達成している。

関連論文リスト

• Scoring, Remember, and Reference: Catching Camouflaged Objects in Videos [24.03405963900272]
  Video Camouflaged Object Detectionは、外見が周囲によく似ているオブジェクトを分割することを目的としている。 既存の視覚モデルは、カモフラージュされた物体の識別不可能な外観のために、このようなシナリオでしばしば苦労する。 人間の記憶認識にインスパイアされたエンドツーエンドのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T11:08:14Z)
• Spatio-temporal Graph Learning on Adaptive Mined Key Frames for High-performance Multi-Object Tracking [5.746443489229576]
  キーフレーム抽出(KFE)モジュールは、強化学習を利用して動画を適応的にセグメントする。 フレーム内フィーチャーフュージョン(IFF)モジュールは、ターゲットと周辺オブジェクト間の情報交換を容易にするために、グラフ畳み込みネットワーク(GCN)を使用する。 提案したトラッカーはMOT17データセット上で印象的な結果が得られる。
  論文  参考訳（メタデータ） (2025-01-17T11:36:38Z)
• Learning Spatial-Semantic Features for Robust Video Object Segmentation [108.045326229865]
  空間意味的特徴と識別的オブジェクトクエリを備えたロバストなビデオオブジェクトセグメンテーションフレームワークを提案する。 提案手法は,複数のデータセットに対して新しい最先端性能を設定できることを示す。
  論文  参考訳（メタデータ） (2024-07-10T15:36:00Z)
• DeVOS: Flow-Guided Deformable Transformer for Video Object Segmentation [0.4487265603408873]
  DeVOS(Deformable VOS)は,メモリベースマッチングと移動誘導伝搬を組み合わせたビデオオブジェクトのアーキテクチャである。 DAVIS 2017 val と test-dev (88.1%, 83.0%), YouTube-VOS 2019 val (86.6%) でトップランクを達成した。
  論文  参考訳（メタデータ） (2024-05-11T14:57:22Z)
• Spatial-Temporal Multi-level Association for Video Object Segmentation [89.32226483171047]
  本稿では,参照フレーム,テストフレーム,オブジェクト特徴を相互に関連付ける空間的・時間的多レベルアソシエーションを提案する。 具体的には,空間的・時間的多段階特徴関連モジュールを構築し,より優れた目標認識特徴を学習する。
  論文  参考訳（メタデータ） (2024-04-09T12:44:34Z)
• Temporally Consistent Referring Video Object Segmentation with Hybrid Memory [98.80249255577304]
  本稿では,参照セグメンテーションとともに時間的一貫性を明示的にモデル化する,エンドツーエンドなR-VOSパラダイムを提案する。 自動生成された高品質の参照マスクを有するフレームの特徴は、残りのフレームをセグメント化するために伝播される。 大規模な実験により,本手法は時間的整合性を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-03-28T13:32:49Z)
• Deep Common Feature Mining for Efficient Video Semantic Segmentation [25.851900402539467]
  ビデオセマンティックセグメンテーションのためのDeep Common Feature Mining(DCFM)を提案する。 DCFMは、機能を2つの補完的なコンポーネントに明示的に分解する。 自己教師付き損失関数を組み込んで,クラス内特徴の類似性を強化し,時間的整合性を高める。
  論文  参考訳（メタデータ） (2024-03-05T06:17:59Z)
• Multi-grained Temporal Prototype Learning for Few-shot Video Object Segmentation [156.4142424784322]
  FSVOS(Few-Shot Video Object)は、いくつかのアノテーション付きサポートイメージで定義されるのと同じカテゴリで、クエリビデオ内のオブジェクトをセグメントすることを目的としている。 本稿では,ビデオデータの時間的相関性を扱うために,多粒度時間的ガイダンス情報を活用することを提案する。 提案するビデオIPMTモデルは,2つのベンチマークデータセットにおいて,従来のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-09-20T09:16:34Z)
• Implicit Temporal Modeling with Learnable Alignment for Video Recognition [95.82093301212964]
  本稿では,極めて高い性能を達成しつつ,時間的モデリングの労力を最小限に抑える新しいImplicit Learnable Alignment(ILA)法を提案する。 ILAはKineetics-400の88.7%で、Swin-LやViViT-Hに比べてFLOPははるかに少ない。
  論文  参考訳（メタデータ） (2023-04-20T17:11:01Z)
• Look Before You Match: Instance Understanding Matters in Video Object Segmentation [114.57723592870097]
  本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。 本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。 我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
  論文  参考訳（メタデータ） (2022-12-13T18:59:59Z)
• MUNet: Motion Uncertainty-aware Semi-supervised Video Object Segmentation [31.100954335785026]
  本稿では,映像オブジェクトの半教師付きセグメンテーションのための動作不確実性認識フレームワーク(MUNet)を提案する。 動作特徴と意味的特徴を効果的に融合する動き認識型空間アテンションモジュールを提案する。 トレーニングにDAVIS17のみを使用する$76.5%の$mathcalJとmathcalF$は、低データプロトコル下でのtextitSOTAメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-29T16:01:28Z)
• Learning Dynamic Compact Memory Embedding for Deformable Visual Object Tracking [82.34356879078955]
  本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。 DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
  論文  参考訳（メタデータ） (2021-11-23T03:07:12Z)
• CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentation [67.17625278621134]
  ビデオインスタンスのセグメンテーションは、特定のビデオのそれぞれのオブジェクトを検出し、セグメンテーションし、追跡する必要がある複雑なタスクです。 従来のアプローチは、オブジェクトの検出、セグメンテーション、追跡にのみシングルフレーム機能を使用します。 本稿では,時間的および空間的コンテキスト情報を用いて,フレームレベルとオブジェクトレベルでの機能を洗練する新しい包括的特徴集約アプローチ(compfeat)を提案する。
  論文  参考訳（メタデータ） (2020-12-07T00:31:42Z)
• PMVOS: Pixel-Level Matching-Based Video Object Segmentation [9.357153487612965]
  半教師付きビデオオブジェクトセグメンテーション(VOS)は、初期フレームの真理セグメンテーションマスクが提供されるとき、任意の対象オブジェクトをビデオ内にセグメンテーションすることを目的としている。 近年の画素レベルのマッチング (PM) は, 高い性能のため, 特徴マッチングに広く用いられている。 本稿では,過去のすべてのフレームの情報を含む強力なテンプレート機能を構築するPMVOS(Message-PM-based Video Object segmentation)を提案する。
  論文  参考訳（メタデータ） (2020-09-18T14:22:09Z)
• Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching [67.02962970820505]
  ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。 本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。 我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-11T05:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。