論文の概要: Temporal Coherent Test-Time Optimization for Robust Video Classification

• arxiv url: http://arxiv.org/abs/2302.14309v1
• Date: Tue, 28 Feb 2023 04:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 18:05:36.595155
• Title: Temporal Coherent Test-Time Optimization for Robust Video Classification
• Title（参考訳）: ロバストビデオ分類のための時間コヒーレントテスト時間最適化
• Authors: Chenyu Yi, Siyuan Yang, Yufei Wang, Haoliang Li, Yap-Peng Tan and Alex C. Kot
• Abstract要約: ディープニューラルネットワークは、実世界のデプロイでテストデータが破損したときに失敗する可能性がある。 テスト時の最適化は、テスト中に破損したデータに対して、モデルを堅牢性に適応する効果的な方法である。 テスト時間最適化における時間的情報を利用したロバストな分類手法を提案する。
• 参考スコア（独自算出の注目度）: 55.432935503341064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are likely to fail when the test data is corrupted in real-world deployment (e.g., blur, weather, etc.). Test-time optimization is an effective way that adapts models to generalize to corrupted data during testing, which has been shown in the image domain. However, the techniques for improving video classification corruption robustness remain few. In this work, we propose a Temporal Coherent Test-time Optimization framework (TeCo) to utilize spatio-temporal information in test-time optimization for robust video classification. To exploit information in video with self-supervised learning, TeCo uses global content from video clips and optimizes models for entropy minimization. TeCo minimizes the entropy of the prediction based on the global content from video clips. Meanwhile, it also feeds local content to regularize the temporal coherence at the feature level. TeCo retains the generalization ability of various video classification models and achieves significant improvements in corruption robustness across Mini Kinetics-C and Mini SSV2-C. Furthermore, TeCo sets a new baseline in video classification corruption robustness via test-time optimization.
• Abstract（参考訳）: ディープニューラルネットワークは、テストデータが現実世界のデプロイメント(例えば、ぼやけ、天気など)で破損したときに失敗する可能性がある。 テスト時間最適化(test-time optimization)は、テスト中に破損したデータを一般化するためにモデルを適用する効果的な方法である。 しかし,ビデオ分類のロバスト性を改善する手法は少ない。 本研究では,テスト時間最適化に時空間情報を活用するための時間コヒーレントテスト時間最適化フレームワーク(TeCo)を提案する。 自己教師付き学習でビデオの情報を活用するため、tecoはビデオクリップからのグローバルコンテンツを使用し、エントロピー最小化のためのモデルを最適化する。 TeCoは、ビデオクリップのグローバルコンテンツに基づいて予測のエントロピーを最小化する。 一方、ローカルコンテンツも供給し、時間的コヒーレンスを機能レベルで規則化する。 TeCoは様々なビデオ分類モデルの一般化能力を保ち、Mini Kinetics-CとMini SSV2-Cをまたいだ汚職の堅牢性を大幅に向上させる。 さらに、テコはテスト時間最適化によってビデオ分類の腐敗のロバスト性に新たなベースラインを設定する。

関連論文リスト

• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Neighbourhood Representative Sampling for Efficient End-to-end Video Quality Assessment [60.57703721744873]
  リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。 フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2022-10-11T11:38:07Z)
• TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning [3.4570413826505564]
  現在のビデオ分類ベンチマークには静的な特徴に対する強いバイアスが含まれており、時間的モデリング能力を正確に反映することはできない。 静的バイアスを排除するための新しいビデオ分類ベンチマークが提案され、これらの新しいベンチマークの実験により、現在のクリップベースの3D CNNは、RNN構造や最近のビデオトランスフォーマーよりも優れていることが示された。 ビデオレベル3D CNN(V3D)にTFCブロックを挿入することで、提案するTFCNetsは、合成時間的推論ベンチマークCATERと実世界の静的不偏性データセットDiving48に、新しい最先端の結果を確立する。
  論文  参考訳（メタデータ） (2022-03-11T13:58:05Z)
• Temporal-attentive Covariance Pooling Networks for Video Recognition [52.853765492522655]
  既存のビデオアーキテクチャは、通常、単純なグローバル平均プール法(GAP)を用いてグローバル表現を生成する。 本稿では,深いアーキテクチャの端に挿入される減衰共分散プーリング(TCP-TCP)を提案する。 我々のTCPはモデルに依存しないため、任意のビデオアーキテクチャに柔軟に統合できるため、効果的なビデオ認識のためのTCPNetとなる。
  論文  参考訳（メタデータ） (2021-10-27T12:31:29Z)
• AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation [81.87943324048756]
  ビデオセグメンテーションでは、フレーム間で時間的に一貫した結果を生成することは、フレームワイドの精度を達成するのと同じくらい重要である。 既存の方法は、時間的整合性を達成するために、テストデータによる光フローの正則化や微調整に依存している。 本稿では、ほとんどのニューラルネットワークモデルの時間的一貫性を改善するために、効率的で直感的で教師なしのオンライン適応手法であるAuxAdaptを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:07:41Z)
• Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding [5.255783459833821]
  本稿では,監視ビデオにおける異常検出のための時間的深部符号化復号化手法を提案する。 提案手法はトレーニング期間中に異常ビデオクリップと正常ビデオクリップの両方を使用する。 提案手法は,ビデオ監視アプリケーションにおける異常検出の最先端ソリューションと同等かそれ以上に動作することを示す。
  論文  参考訳（メタデータ） (2020-07-03T08:22:42Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。