論文の概要: Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions
- arxiv url: http://arxiv.org/abs/2403.20254v1
- Date: Fri, 29 Mar 2024 16:01:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:14:57.425114
- Title: Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions
- Title（参考訳）: 時間的破壊に対する時間的行動検出モデルのロバスト性の評価
- Authors: Runhao Zeng, Xiaoyong Chen, Jiaming Liang, Huisi Wu, Guangzhong Cao, Yong Guo,
- Abstract要約: 時間的行動検出(TAD)は、アクションの位置を特定し、長期的な未トリミングビデオでアクションカテゴリを認識することを目的としている。
ビデオ内の時間情報は、フレームの欠落やぼやけなど、時々破損する可能性がある。
本稿では,7種類のTAD手法のロバスト性を網羅的に分析し,いくつかの興味深い知見を得た。
- 参考スコア（独自算出の注目度）: 21.031546310537692
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Temporal action detection (TAD) aims to locate action positions and recognize action categories in long-term untrimmed videos. Although many methods have achieved promising results, their robustness has not been thoroughly studied. In practice, we observe that temporal information in videos can be occasionally corrupted, such as missing or blurred frames. Interestingly, existing methods often incur a significant performance drop even if only one frame is affected. To formally evaluate the robustness, we establish two temporal corruption robustness benchmarks, namely THUMOS14-C and ActivityNet-v1.3-C. In this paper, we extensively analyze the robustness of seven leading TAD methods and obtain some interesting findings: 1) Existing methods are particularly vulnerable to temporal corruptions, and end-to-end methods are often more susceptible than those with a pre-trained feature extractor; 2) Vulnerability mainly comes from localization error rather than classification error; 3) When corruptions occur in the middle of an action instance, TAD models tend to yield the largest performance drop. Besides building a benchmark, we further develop a simple but effective robust training method to defend against temporal corruptions, through the FrameDrop augmentation and Temporal-Robust Consistency loss. Remarkably, our approach not only improves robustness but also yields promising improvements on clean data. We believe that this study will serve as a benchmark for future research in robust video analysis. Source code and models are available at https://github.com/Alvin-Zeng/temporal-robustness-benchmark.
- Abstract（参考訳）: 時間的行動検出(TAD)は、アクションの位置を特定し、長期的な未トリミングビデオでアクションカテゴリを認識することを目的としている。
多くの手法が有望な結果を得たが、その堅牢性は十分に研究されていない。
実際には、ビデオ内の時間情報は、欠落やぼやけたフレームなど、時々破損する可能性がある。
興味深いことに、既存のメソッドは、たとえ1つのフレームだけが影響を受けるとしても、大きなパフォーマンス低下を引き起こすことが多い。
このロバスト性を正式に評価するため,THUMOS14-CとActivityNet-v1.3-Cという2つの時間的腐敗ロバスト性ベンチマークを構築した。
本稿では,7つの主要なTAD手法のロバスト性を網羅的に分析し,いくつかの興味深い知見を得た。
1) 既存手法は,特に時間的腐敗に対して脆弱であり,かつ,エンド・ツー・エンド方式は,事前訓練された特徴抽出器よりも受容性が高い場合が多い。
2) 脆弱性は主に,分類誤差ではなく,局所化誤差から生じる。
3)アクションインスタンスの中央で汚職が発生した場合、TADモデルは最大のパフォーマンス低下をもたらす傾向があります。
ベンチマーク作成の他に、FrameDropの強化と時間-ロバスト整合性損失を通じて、時間的腐敗から守るためのシンプルで効果的な堅牢なトレーニング手法を更に開発する。
注目すべきは、私たちのアプローチは堅牢性を改善するだけでなく、クリーンなデータにも有望な改善をもたらします。
我々はこの研究が、ロバストビデオ分析における将来の研究のベンチマークとなると信じている。
ソースコードとモデルはhttps://github.com/Alvin-Zeng/temporal-robustness-benchmarkで公開されている。
関連論文リスト
- Benchmarking the Robustness of Optical Flow Estimation to Corruptions [25.789811424859554]
光フローモデルのベンチマークに特化して設計された7つの時間的破損について紹介する。
2つのロバスト性ベンチマーク、KITTI-FCとGoPro-FCが、光学フロー推定のための最初の汚職性ベンチマークとして確立されている。
15個の光学流法から29種類のモデルが評価され、10個の興味深い観測結果が得られた。
論文 参考訳（メタデータ） (2024-11-22T11:31:01Z) - Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。
BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
論文 参考訳（メタデータ） (2024-08-30T15:39:34Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T17:59:17Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Real-Time Driver Monitoring Systems through Modality and View Analysis [28.18784311981388]
ドライバーの気晴らしが道路事故の主要な原因であることが知られている。
State-of-the-artメソッドはレイテンシを無視しながら精度を優先する。
本稿では,ビデオフレーム間の時間的関係を無視した時間効率な検出モデルを提案する。
論文 参考訳（メタデータ） (2022-10-17T21:22:41Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳（メタデータ） (2022-07-14T17:46:37Z) - Benchmarking and Analyzing Point Cloud Classification under Corruptions [33.252032774949356]
汚職下でのポイントクラウド分類をベンチマークし分析する。
得られた観測結果に基づいて,点雲のロバスト性を高めるためのいくつかの効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-07T17:50:21Z) - Benchmarking the Robustness of Spatial-Temporal Models Against
Corruptions [32.821121530785504]
我々は、画像の空間的腐敗を超えた時間的腐敗を考慮した、汚職堅牢性ベンチマーク、Mini Kinetics-CとMini SSV2-Cを確立する。
我々は、確立されたCNNベースおよびトランスフォーマーベースの時空間時間モデルにおける破壊堅牢性に関する徹底的な研究を行うための最初の試みを行う。
論文 参考訳（メタデータ） (2021-10-13T05:59:39Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳（メタデータ） (2021-04-06T17:53:08Z) - Uncertainty-Aware Weakly Supervised Action Detection from Untrimmed
Videos [82.02074241700728]
本稿では,ビデオフレームラベルのみを用いてトレーニングした,禁止レベルの行動認識モデルを提案する。
人1人当たりの手法は、複数のインスタンス学習フレームワーク内の大規模な画像データセットで訓練されている。
標準的な多重インスタンス学習の仮定では、各バッグには、指定されたラベルを持つ少なくとも1つのインスタンスが含まれているという仮定が無効である場合、どのようにメソッドを適用するかを示す。
論文 参考訳（メタデータ） (2020-07-21T10:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。