論文の概要: An Effective-Efficient Approach for Dense Multi-Label Action Detection
- arxiv url: http://arxiv.org/abs/2406.06187v1
- Date: Mon, 10 Jun 2024 11:33:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 14:17:29.186694
- Title: An Effective-Efficient Approach for Dense Multi-Label Action Detection
- Title（参考訳）: 高精度なマルチラベル動作検出手法
- Authors: Faegheh Sardari, Armin Mustafa, Philip J. B. Jackson, Adrian Hilton,
- Abstract要約: i)時間的依存関係と(ii)共起行動関係を同時に学習する必要がある。
近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。
我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
- 参考スコア（独自算出の注目度）: 23.100602876056165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unlike the sparse label action detection task, where a single action occurs in each timestamp of a video, in a dense multi-label scenario, actions can overlap. To address this challenging task, it is necessary to simultaneously learn (i) temporal dependencies and (ii) co-occurrence action relationships. Recent approaches model temporal information by extracting multi-scale features through hierarchical transformer-based networks. However, the self-attention mechanism in transformers inherently loses temporal positional information. We argue that combining this with multiple sub-sampling processes in hierarchical designs can lead to further loss of positional information. Preserving this information is essential for accurate action detection. In this paper, we address this issue by proposing a novel transformer-based network that (a) employs a non-hierarchical structure when modelling different ranges of temporal dependencies and (b) embeds relative positional encoding in its transformer layers. Furthermore, to model co-occurrence action relationships, current methods explicitly embed class relations into the transformer network. However, these approaches are not computationally efficient, as the network needs to compute all possible pair action class relations. We also overcome this challenge by introducing a novel learning paradigm that allows the network to benefit from explicitly modelling temporal co-occurrence action dependencies without imposing their additional computational costs during inference. We evaluate the performance of our proposed approach on two challenging dense multi-label benchmark datasets and show that our method improves the current state-of-the-art results.
- Abstract（参考訳）: ビデオの各タイムスタンプで1つのアクションが発生するスパースラベルアクション検出タスクとは異なり、密集したマルチラベルシナリオでは、アクションが重複する可能性がある。
この課題に対処するには,同時に学ぶ必要がある
(一)時間的依存関係及び
(二)共起行動関係
近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。
しかし、変圧器の自己保持機構は本質的に時間的位置情報を失う。
我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
この情報を保存することは、正確な行動検出に不可欠である。
本稿では,新しい変圧器ネットワークを提案することでこの問題に対処する。
(a)異なる時間的依存関係の範囲をモデル化する場合、非階層構造を用いる。
b) 相対的な位置エンコーディングをトランス層に埋め込む。
さらに、共起アクション関係をモデル化するために、現在のメソッドは、クラス関係をトランスフォーマーネットワークに明示的に埋め込む。
しかしながら、これらのアプローチは、ネットワークが全ての可能なペアアクションクラス関係を計算する必要があるため、計算的に効率的ではない。
また,ネットワークが時間的共起行動依存を明示的にモデル化することで,推論時に追加の計算コストを課すことなく,新たな学習パラダイムを導入することで,この課題を克服する。
提案手法を2つの高密度なマルチラベル・ベンチマーク・データセットに対して評価し,提案手法が現在の技術結果を改善することを示す。
関連論文リスト
- Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳（メタデータ） (2023-11-20T17:35:44Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - PAT: Position-Aware Transformer for Dense Multi-Label Action Detection [36.39340228621982]
ビデオ中の複雑な時間的共起動作依存を学習するトランスフォーマーベースのネットワークであるPATを提案する。
自己認識機構に相対的な位置エンコーディングを組み込み、マルチスケールの時間的関係を利用する。
提案手法の有効性を2つの厳密なマルチラベルベンチマークデータセットを用いて評価した。
論文 参考訳（メタデータ） (2023-08-09T16:29:31Z) - DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。
既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。
本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文 参考訳（メタデータ） (2023-04-01T08:06:43Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T02:12:30Z) - CTRN: Class-Temporal Relational Network for Action Detection [7.616556723260849]
エンドツーエンドネットワーク:CTRN(Class-Temporal Network)を導入する。
CTRNには、Transform Representation Module、Class-Temporal Module、G-classifierの3つの重要なコンポーネントが含まれている。
CTRを3つの高密度ラベル付きデータセット上で評価し、最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-10-26T08:15:47Z) - ASFormer: Transformer for Action Segmentation [9.509416095106493]
本稿では,アクションセグメンテーションタスクのための効率的なトランスフォーマーベースモデルASFormerを提案する。
信頼された範囲内で仮説空間を制約し、アクションセグメンテーションタスクが小さなトレーニングセットで適切なターゲット関数を学習するのに有益である。
我々は、長い入力シーケンスを効率的に処理する事前定義された階層表現パターンを適用した。
論文 参考訳（メタデータ） (2021-10-16T13:07:20Z) - Cross-modal Consensus Network for Weakly Supervised Temporal Action
Localization [74.34699679568818]
時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。
この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
論文 参考訳（メタデータ） (2021-07-27T04:21:01Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。