論文の概要: MUNet: Motion Uncertainty-aware Semi-supervised Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2111.14646v1
• Date: Mon, 29 Nov 2021 16:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 21:22:26.827715
• Title: MUNet: Motion Uncertainty-aware Semi-supervised Video Object Segmentation
• Title（参考訳）: MUNet:モーション不確かさを意識した半教師付きビデオオブジェクトセグメンテーション
• Authors: Jiadai Sun, Yuxin Mao, Yuchao Dai, Yiran Zhong, Jianyuan Wang
• Abstract要約: 本稿では,映像オブジェクトの半教師付きセグメンテーションのための動作不確実性認識フレームワーク(MUNet)を提案する。 動作特徴と意味的特徴を効果的に融合する動き認識型空間アテンションモジュールを提案する。 トレーニングにDAVIS17のみを使用する$76.5%の$mathcalJとmathcalF$は、低データプロトコル下でのtextitSOTAメソッドよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 31.100954335785026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of semi-supervised video object segmentation (VOS) has been greatly advanced and state-of-the-art performance has been made by dense matching-based methods. The recent methods leverage space-time memory (STM) networks and learn to retrieve relevant information from all available sources, where the past frames with object masks form an external memory and the current frame as the query is segmented using the mask information in the memory. However, when forming the memory and performing matching, these methods only exploit the appearance information while ignoring the motion information. In this paper, we advocate the return of the \emph{motion information} and propose a motion uncertainty-aware framework (MUNet) for semi-supervised VOS. First, we propose an implicit method to learn the spatial correspondences between neighboring frames, building upon a correlation cost volume. To handle the challenging cases of occlusion and textureless regions during constructing dense correspondences, we incorporate the uncertainty in dense matching and achieve motion uncertainty-aware feature representation. Second, we introduce a motion-aware spatial attention module to effectively fuse the motion feature with the semantic feature. Comprehensive experiments on challenging benchmarks show that \textbf{\textit{using a small amount of data and combining it with powerful motion information can bring a significant performance boost}}. We achieve ${76.5\%}$ $\mathcal{J} \& \mathcal{F}$ only using DAVIS17 for training, which significantly outperforms the \textit{SOTA} methods under the low-data protocol. \textit{The code will be released.}
• Abstract（参考訳）: 半教師付きビデオオブジェクトセグメンテーション(VOS)のタスクは大幅に進歩しており、最先端のパフォーマンスは密マッチング方式で実現されている。 最近の手法では、空間時間メモリ(STM)ネットワークを活用し、オブジェクトマスクを持つ過去のフレームが外部メモリを形成し、クエリがメモリ内のマスク情報を使用してセグメント化される現在のフレームであるすべての利用可能なソースから関連情報を検索する。 しかし、メモリを形成してマッチングを行う際には、動作情報を無視しながらのみ外観情報を利用する。 本稿では,emph{motion information} の復活を提唱し,半教師付き VOS のための動作不確実性認識フレームワーク (MUNet) を提案する。 まず,相関コストのボリュームに基づいて,隣接するフレーム間の空間的対応を学習するための暗黙的手法を提案する。 密接な対応を構築する際の咬合やテクスチャのない領域の困難な場合に対処するために, 密一致の不確実性を取り込んで, 動きの不確かさを認識できる特徴表現を実現する。 第2に,動きの特徴と意味的特徴を効果的に融合する,動き認識型空間注意モジュールを提案する。 挑戦的なベンチマークに関する包括的な実験は、少量のデータと強力なモーション情報を組み合わせることで、パフォーマンスが大幅に向上することを示している。 76.5\%}$$$\mathcal{j} \& \mathcal{f}$ トレーニングにdavis17を使用するだけで、ローデータプロトコルの \textit{sota} メソッドを大幅に上回っています。 textit{the codeはリリースされます。 }

関連論文リスト

• Global Motion Understanding in Large-Scale Video Object Segmentation [0.499320937849508]
  ビデオ理解の他領域からの知識を大規模学習と組み合わせることで,複雑な状況下での映像オブジェクト(VOS)の堅牢性を向上させることができることを示す。 すなわち,大規模な半教師付きビデオオブジェクトを改善するために,シーンのグローバルな動きの知識を統合することに集中する。 我々は,動作理解における既存の知識を活用して,よりスムーズな伝搬とより正確なマッチングを行う,半教師付きビデオオブジェクトのアーキテクチャであるWarpFormerを提案する。
  論文  参考訳（メタデータ） (2024-05-11T15:09:22Z)
• Video Object Segmentation with Dynamic Query Modulation [23.811776213359625]
  オブジェクトとマルチオブジェクトセグメンテーションのためのクエリ変調手法QMVOSを提案する。 提案手法は,メモリベースSVOS法を大幅に改善し,標準SVOSベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-03-18T07:31:39Z)
• Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation [52.11279360934703]
  現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。 本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
  論文  参考訳（メタデータ） (2023-08-25T17:30:08Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Video Semantic Segmentation with Inter-Frame Feature Fusion and Inner-Frame Feature Refinement [39.06589186472675]
  マルチフレーム特徴量間の密接なペア関係をモデル化するための時空間融合(STF)モジュールを提案する。 さらに,セマンティックバウンダリ間の困難な予測に対処するために,メモリ拡張改良(MAR)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-10T07:57:05Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• FlowVOS: Weakly-Supervised Visual Warping for Detail-Preserving and Temporally Consistent Single-Shot Video Object Segmentation [4.3171602814387136]
  本稿では,VOSデータから流れ場を学習する前景型ビジュアルワープ手法を提案する。 フローモジュールをトレーニングし、2つの弱い教師付き損失を用いてフレーム間の詳細な動きをキャプチャする。 提案手法は,高精細かつ時間的整合性を持ったセグメンテーションを生成する。
  論文  参考訳（メタデータ） (2021-11-20T16:17:10Z)
• Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised Video Object Segmentation [27.559093073097483]
  セミ監視ビデオオブジェクト(Semi-VOS)の現在のアプローチは、以前のフレームから情報を伝達し、現在のフレームのセグメンテーションマスクを生成します。 時間的情報を用いて、最小限の変更で迅速にフレームを識別する。 フレーム間の変化を推定し、ネットワーク全体を計算したり、以前のフレームの機能を再利用したりするパスを決定する、新しい動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-21T19:40:17Z)
• Spatiotemporal Graph Neural Network based Mask Reconstruction for Video Object Segmentation [70.97625552643493]
  本稿では,クラス非依存オブジェクトを半教師あり設定でセグメント化するタスクについて述べる。 提案手法のすべてを利用して局所的なコンテキストを捕捉する新しいグラフニューラルネットワーク(TG-Net)を提案する。
  論文  参考訳（メタデータ） (2020-12-10T07:57:44Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking [79.80401607146987]
  既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。 本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-21T08:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。