論文の概要: Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2103.15233v2
• Date: Tue, 30 Mar 2021 13:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 12:00:50.005357
• Title: Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization
• Title（参考訳）: 低忠実度エンド・ツー・エンドビデオエンコーダによる時間行動定位学習
• Authors: Mengmeng Xu, Juan-Manuel Perez-Rua, Xiatian Zhu, Bernard Ghanem, Brais Martinez
• Abstract要約: TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 96.73647162960842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal action localization (TAL) is a fundamental yet challenging task in video understanding. Existing TAL methods rely on pre-training a video encoder through action classification supervision. This results in a task discrepancy problem for the video encoder -- trained for action classification, but used for TAL. Intuitively, end-to-end model optimization is a good solution. However, this is not operable for TAL subject to the GPU memory constraints, due to the prohibitive computational cost in processing long untrimmed videos. In this paper, we resolve this challenge by introducing a novel low-fidelity end-to-end (LoFi) video encoder pre-training method. Instead of always using the full training configurations for TAL learning, we propose to reduce the mini-batch composition in terms of temporal, spatial or spatio-temporal resolution so that end-to-end optimization for the video encoder becomes operable under the memory conditions of a mid-range hardware budget. Crucially, this enables the gradient to flow backward through the video encoder from a TAL loss supervision, favourably solving the task discrepancy problem and providing more effective feature representations. Extensive experiments show that the proposed LoFi pre-training approach can significantly enhance the performance of existing TAL methods. Encouragingly, even with a lightweight ResNet18 based video encoder in a single RGB stream, our method surpasses two-stream ResNet50 based alternatives with expensive optical flow, often by a good margin.
• Abstract（参考訳）: 時間的行動ローカライゼーション(TAL)は、ビデオ理解における基本的な課題である。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 これにより、ビデオエンコーダ -- アクションの分類のために訓練されるが、talで使用される -- のタスク不一致問題が発生する。 直感的には、エンドツーエンドのモデル最適化はよいソリューションです。 しかし、長い未処理ビデオを処理するのに計算コストがかかるため、gpuメモリの制約を受けるtalでは動作できない。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を導入することで,この問題を解決する。 ビデオエンコーダのエンド・ツー・エンド最適化が中間ハードウェア予算のメモリ条件下で操作可能となるように,時間的・空間的・時空間的・時空間的分解能の面でのミニバッチ構成の削減を提案する。 これにより、TAL損失監視からビデオエンコーダを逆向きに流し、タスクの不一致の問題を良好に解決し、より効果的な特徴表現を提供する。 広範な実験により,lofiプリトレーニング手法が既存のtal法の性能を著しく向上させることが示された。 軽量なResNet18ベースのビデオエンコーダを1つのRGBストリームで使用しても、当社の手法は高価な光フローを持つ2ストリームのResNet50ベースの代替手段をはるかに上回ります。

関連論文リスト

• Efficient Meta-Tuning for Content-aware Neural Video Delivery [40.3731358963689]
  計算コストを削減するために,EMT(Efficient Meta-Tuning)を提案する。 EMTは入力ビデオの最初のチャンクにメタ学習モデルを適用する。 本稿では,ビデオフレームから最も困難なパッチを抽出するための新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-20T06:47:10Z)
• No Attention is Needed: Grouped Spatial-temporal Shift for Simple and Efficient Video Restorers [38.94887477375227]
  ビデオ復元は、複数の不整合フレームから時間的対応を確立するために必要である。 既存のディープメソッドは一般的に複雑なネットワークアーキテクチャを採用する。 本稿では,ビデオ復元のための簡易かつ高速かつ効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-22T02:16:47Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• An Empirical Study of End-to-End Temporal Action Detection [82.64373812690127]
  時間的行動検出(TAD)はビデオ理解において重要な課題である。 エンド・ツー・エンドの学習よりも、既存のほとんどの手法では、ヘッドオンリーの学習パラダイムを採用しています。 頭のみの学習よりもエンド・ツー・エンドの学習の利点を検証し、最大11%のパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2022-04-06T16:46:30Z)
• Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
  本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。 我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。 我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
  論文  参考訳（メタデータ） (2021-07-24T15:57:15Z)
• Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
  ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。 我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
  論文  参考訳（メタデータ） (2020-12-01T09:06:34Z)
• TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks [79.01176229586855]
  本稿では,背景クリップとグローバルビデオ情報を考慮した時間感度向上のための教師付き事前学習パラダイムを提案する。 大規模実験により,新しい事前学習戦略で訓練した特徴を用いることで,最近の3つの課題における最先端手法の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2020-11-23T15:40:15Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。