論文の概要: TriDet: Temporal Action Detection with Relative Boundary Modeling
- arxiv url: http://arxiv.org/abs/2303.07347v1
- Date: Mon, 13 Mar 2023 17:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 13:30:13.817179
- Title: TriDet: Temporal Action Detection with Relative Boundary Modeling
- Title(参考訳): TriDet: 相対境界モデルによる時間的行動検出
- Authors: Dingfeng Shi, Yujie Zhong, Qiong Cao, Lin Ma, Jia Li, Dacheng Tao
- Abstract要約: 既存の手法はビデオのあいまいな動作境界による不正確な境界予測に悩まされることが多い。
本稿では,その境界付近の相対確率分布を推定して,行動境界をモデル化する新しいトライデントヘッドを提案する。
TriDetは3つの挑戦的なベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 85.49834276225484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a one-stage framework TriDet for temporal action
detection. Existing methods often suffer from imprecise boundary predictions
due to the ambiguous action boundaries in videos. To alleviate this problem, we
propose a novel Trident-head to model the action boundary via an estimated
relative probability distribution around the boundary. In the feature pyramid
of TriDet, we propose an efficient Scalable-Granularity Perception (SGP) layer
to mitigate the rank loss problem of self-attention that takes place in the
video features and aggregate information across different temporal
granularities. Benefiting from the Trident-head and the SGP-based feature
pyramid, TriDet achieves state-of-the-art performance on three challenging
benchmarks: THUMOS14, HACS and EPIC-KITCHEN 100, with lower computational
costs, compared to previous methods. For example, TriDet hits an average mAP of
$69.3\%$ on THUMOS14, outperforming the previous best by $2.5\%$, but with only
$74.6\%$ of its latency. The code is released to
https://github.com/sssste/TriDet.
- Abstract(参考訳): 本稿では,時間的行動検出のための一段階フレームワークTriDetを提案する。
既存の手法はビデオのあいまいな動作境界による不正確な境界予測に悩まされることが多い。
そこで本研究では,境界付近の相対確率分布を推定して動作境界をモデル化する新しいトライデントヘッドを提案する。
トリデットの特徴ピラミッドでは,映像特徴に発生する自己注目のランクロス問題を軽減し,異なる時間的粒度にまたがる情報を集約する効率的なスケーラブル粒度知覚(sgp)層を提案する。
TridentヘッドとSGPベースの特徴ピラミッドから恩恵を受け、TriDetは3つの挑戦的なベンチマーク(THUMOS14、HACS、EPIC-KITCHEN 100)で最先端のパフォーマンスを達成した。
例えば、TriDetはTHUMOS14で平均69.3\%のmAPを達成し、以前の最高値を2.5\%で上回ったが、レイテンシは74.6\%でしかなかった。
コードはhttps://github.com/ssste/TriDetにリリースされている。
関連論文リスト
- Tangential Randomization in Linear Bandits (TRAiL): Guaranteed Inference and Regret Bounds [1.03590082373586]
本稿では,線形帯域探索アルゴリズムTRAiLの提案と解析を行う。
TraiLは、設計(回帰器)行列の最小固有値によって測定された推論品質の$Omega(sqrtT)$成長を保証する。
我々は,期待された後悔に対して,任意のアルゴリズムに対して$Omega(sqrtT)$ minimax小境界を特徴付ける。
論文 参考訳(メタデータ) (2024-11-19T01:08:13Z) - Temporal Action Localization with Enhanced Instant Discriminability [66.76095239972094]
時間的行動検出(TAD)は、すべての行動境界とその対応するカテゴリを、トリミングされていないビデオで検出することを目的としている。
本稿では,既存の手法による動作境界の不正確な予測を解決するために,TriDetという一段階のフレームワークを提案する。
実験結果から,複数のTADデータセット上でのTriDetの堅牢性と最先端性能が示された。
論文 参考訳(メタデータ) (2023-09-11T16:17:50Z) - Recurrence without Recurrence: Stable Video Landmark Detection with Deep
Equilibrium Models [96.76758318732308]
本稿では,最近提案されたDeep Equilibrium Model (DEQ) が,この計算形式に自然に適応可能であることを示す。
我々のLandmark DEQ(LDEQ)は、WFLW顔ランドマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-04-02T19:08:02Z) - Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。
より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。
我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
論文 参考訳(メタデータ) (2023-03-05T15:11:14Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳(メタデータ) (2022-11-27T19:50:37Z) - A Coarse-to-Fine Instance Segmentation Network with Learning Boundary
Representation [10.967299485260163]
境界ベースのインスタンスセグメンテーションは、その魅力的な効率性から多くの注目を集めている。
既存の手法は長距離回帰の難しさに悩まされている。
この問題に対処する粗大なモジュールを提案する。
論文 参考訳(メタデータ) (2021-06-18T16:37:28Z) - An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic
Gradient Descent and Thompson Sampling [83.48992319018147]
プレイヤーが過去の観測結果に基づいて逐次意思決定を行い、累積報酬を最大化する文脈的帯域幅問題を考える。
この問題を解決する自然な方法は、ステップごとの時間とメモリの複雑さを一定に抑えるために、オンライン勾配降下(SGD)を適用することである。
本研究では,オンラインSGDが一般化線形帯域問題に適用可能であることを示す。
過去の情報を活用するためにシングルステップのSGD更新を利用するSGD-TSアルゴリズムは、全時間複雑度で$tildeO(sqrtT)$ regretを達成する。
論文 参考訳(メタデータ) (2020-06-07T01:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。