論文の概要: SwiftNet: Real-time Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2102.04604v1
- Date: Tue, 9 Feb 2021 02:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 20:49:34.324085
- Title: SwiftNet: Real-time Video Object Segmentation
- Title(参考訳): SwiftNet: リアルタイムビデオオブジェクトセグメンテーション
- Authors: Haochen Wang, Xiaolong Jiang, Haibing Ren, Yao Hu, Song Bai
- Abstract要約: リアルタイム半教師付きオブジェクトセグメンテーション(ワンショットVOS)のためのSwiftNetを提案する。
DAVIS 2017データセットでは、77.8%のJ&Fと70のFPSが報告されている。
- 参考スコア(独自算出の注目度): 41.91119795222552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we present SwiftNet for real-time semi-supervised video object
segmentation (one-shot VOS), which reports 77.8% J&F and 70 FPS on DAVIS 2017
validation dataset, leading all present solutions in overall accuracy and speed
performance. We achieve this by elaborately compressing spatiotemporal
redundancy in matching-based VOS via Pixel-Adaptive Memory (PAM). Temporally,
PAM adaptively triggers memory updates on frames where objects display
noteworthy inter-frame variations. Spatially, PAM selectively performs memory
update and match on dynamic pixels while ignoring the static ones,
significantly reducing redundant computations wasted on segmentation-irrelevant
pixels. To promote efficient reference encoding, light-aggregation encoder is
also introduced in SwiftNet deploying reversed sub-pixel. We hope SwiftNet
could set a strong and efficient baseline for real-time VOS and facilitate its
application in mobile vision.
- Abstract(参考訳): 本稿では、DAVIS 2017バリデーションデータセット上で77.8%のJ&Fと70 FPSを報告するリアルタイムの半監視ビデオオブジェクトセグメンテーション(ワンショットVOS)のためのSwiftNetを紹介します。
これを実現するために,Pixel-Adaptive Memory (PAM) を用いたマッチングベースのVOSにおける時空間冗長性を精巧に圧縮する。
一時的には、PAMはオブジェクトが注目すべきフレーム間のバリエーションを表示するフレーム上のメモリ更新を適応的にトリガーします。
空間的には、PAMは静的なピクセルを無視しながら、動的ピクセルのメモリ更新とマッチングを選択的に行い、セグメント化関連画素に費やされた冗長な計算を著しく削減する。
効率的な参照符号化を促進するために、SwiftNetのリバースサブピクセル展開にもライトアグリゲーションエンコーダが導入されている。
SwiftNetがリアルタイムVOSの強力で効率的なベースラインを設定し、モバイルビジョンへの適用を促進することを期待しています。
関連論文リスト
- Two-Stream Networks for Object Segmentation in Videos [83.1383102535413]
我々は,2ストリームネットワーク(TSN)を用いて,その画素レベルのメモリ検索に基づいて表示された画素を分割する。
インスタンスの全体的理解は、ターゲットインスタンスの特徴に基づいて動的セグメンテーションヘッドで得られる。
コンパクトなインスタンスストリームは、適応的なルーティングマップで2つのストリームを融合させながら、目に見えないピクセルのセグメンテーション精度を効果的に向上させる。
論文 参考訳(メタデータ) (2022-08-08T10:22:42Z) - Region Aware Video Object Segmentation with Deep Motion Modeling [56.95836951559529]
Region Aware Video Object (RAVOS) は、効率的なオブジェクトセグメンテーションとメモリストレージのための関心領域を予測する手法である。
効率的なセグメンテーションのために、ROIに応じてオブジェクトの特徴を抽出し、オブジェクトレベルのセグメンテーションのためにオブジェクトデコーダを設計する。
効率的なメモリ記憶のために,2つのフレーム間のオブジェクトの移動経路内の特徴を記憶することで,冗長なコンテキストをフィルタリングする動作パスメモリを提案する。
論文 参考訳(メタデータ) (2022-07-21T01:44:40Z) - Distortion-Aware Network Pruning and Feature Reuse for Real-time Video
Segmentation [49.17930380106643]
本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。
具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。
次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
論文 参考訳(メタデータ) (2022-06-20T07:20:02Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳(メタデータ) (2021-06-09T16:50:57Z) - Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised
Video Object Segmentation [27.559093073097483]
セミ監視ビデオオブジェクト(Semi-VOS)の現在のアプローチは、以前のフレームから情報を伝達し、現在のフレームのセグメンテーションマスクを生成します。
時間的情報を用いて、最小限の変更で迅速にフレームを識別する。
フレーム間の変化を推定し、ネットワーク全体を計算したり、以前のフレームの機能を再利用したりするパスを決定する、新しい動的ネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-21T19:40:17Z) - Fast Video Object Segmentation With Temporal Aggregation Network and
Dynamic Template Matching [67.02962970820505]
ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。
本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。
我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-11T05:44:16Z) - Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。
本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。
我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
論文 参考訳(メタデータ) (2020-03-13T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。