論文の概要: Temporal Memory Attention for Video Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2102.08643v1
• Date: Wed, 17 Feb 2021 09:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 20:43:43.122590
• Title: Temporal Memory Attention for Video Semantic Segmentation
• Title（参考訳）: ビデオセマンティックセグメンテーションのための時間記憶注意
• Authors: Hao Wang, Weining Wang, Jing Liu
• Abstract要約: ビデオシーケンス上での長距離時間関係を適応的に統合する時間記憶注意ネットワーク(tmanet)を提案する。 この手法は、2つの困難なビデオセマンティクスセグメンテーションデータセットで最新のパフォーマンスを実現します。
• 参考スコア（独自算出の注目度）: 9.160387962041476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video semantic segmentation requires to utilize the complex temporal relations between frames of the video sequence. Previous works usually exploit accurate optical flow to leverage the temporal relations, which suffer much from heavy computational cost. In this paper, we propose a Temporal Memory Attention Network (TMANet) to adaptively integrate the long-range temporal relations over the video sequence based on the self-attention mechanism without exhaustive optical flow prediction. Specially, we construct a memory using several past frames to store the temporal information of the current frame. We then propose a temporal memory attention module to capture the relation between the current frame and the memory to enhance the representation of the current frame. Our method achieves new state-of-the-art performances on two challenging video semantic segmentation datasets, particularly 80.3% mIoU on Cityscapes and 76.5% mIoU on CamVid with ResNet-50.
• Abstract（参考訳）: ビデオセマンティックセグメンテーションは、ビデオシーケンスのフレーム間の複雑な時間的関係を利用する必要がある。 以前の作品は通常、計算コストのかかる時間的関係を利用するために正確な光の流れを利用する。 本論文では,完全光フロー予測を必要とせず,自己保持機構に基づいて,ビデオシーケンス上の長期時間関係を適応的に統合するための時間記憶アテンションネットワーク(TMANet)を提案する。 特に,現在のフレームの時間情報を記憶するために,過去の複数のフレームを用いたメモリを構築する。 次に,現在のフレームとメモリの関係を捉え,現在のフレームの表現を高めるための時間的メモリ注意モジュールを提案する。 本手法は、都市景観における80.3% mIoUと、ResNet-50を用いたCamVidにおける76.5% mIoUの2つの挑戦的なビデオセマンティックセグメンテーションデータセットにおいて、最新のパフォーマンスを実現する。

関連論文リスト

• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• Temporally Consistent Referring Video Object Segmentation with Hybrid Memory [98.80249255577304]
  本稿では,参照セグメンテーションとともに時間的一貫性を明示的にモデル化する,エンドツーエンドなR-VOSパラダイムを提案する。 自動生成された高品質の参照マスクを有するフレームの特徴は、残りのフレームをセグメント化するために伝播される。 大規模な実験により,本手法は時間的整合性を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-03-28T13:32:49Z)
• Video Dehazing via a Multi-Range Temporal Alignment Network with Physical Prior [117.6741444489174]
  ビデオのデハジングは、高い可視性とコントラストでヘイズフリーフレームを回復することを目的としている。 本稿では,物理ヘイズ先行を探索し,時間的情報を集約する新しい枠組みを提案する。 大規模な屋外ビデオデハージングベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2023-03-17T03:44:17Z)
• Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation [50.158454960223274]
  既存のビデオドメイン適応(DA)手法は、ビデオフレームの時間的組み合わせを全て格納するか、ソースとターゲットのビデオをペアにする必要がある。 本稿では,メモリ効率の高いグラフベースビデオDA手法を提案する。
  論文  参考訳（メタデータ） (2022-08-13T02:56:10Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• Local Memory Attention for Fast Video Semantic Segmentation [157.7618884769969]
  既存の単一フレームセマンティックセグメンテーションモデルをビデオセマンティックセグメンテーションパイプラインに変換する新しいニューラルネットワークモジュールを提案する。 我々のアプローチは過去のフレームにおける意味情報の豊富な表現をメモリモジュールに集約する。 都市景観におけるセグメンテーション性能は,それぞれ1.7%,2.1%改善し,erfnetの推論時間は1.5msに抑えられた。
  論文  参考訳（メタデータ） (2021-01-05T18:57:09Z)
• Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
  ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。 本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。 我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
  論文  参考訳（メタデータ） (2020-03-13T06:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。