論文の概要: Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2303.08463v1
• Date: Wed, 15 Mar 2023 09:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:18:31.837484
• Title: Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization
• Title（参考訳）: 共起問題:時間的行動局在のための学習行動関係
• Authors: Congqi Cao, Yizhe Wang, Yue Lu, Xin Zhang and Yanning Zhang
• Abstract要約: 本稿では,行動間の共起関係を明示的にモデル化する新しい共起関係モジュール(CORM)を提案する。 視覚情報に加えて、クラスラベルのセマンティック埋め込みを利用して、共起関係をモデル化する。 提案手法は,高いマルチラベル関係モデリング能力を実現する。
• 参考スコア（独自算出の注目度）: 41.44022912961265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal action localization (TAL) is a prevailing task due to its great application potential. Existing works in this field mainly suffer from two weaknesses: (1) They often neglect the multi-label case and only focus on temporal modeling. (2) They ignore the semantic information in class labels and only use the visual information. To solve these problems, we propose a novel Co-Occurrence Relation Module (CORM) that explicitly models the co-occurrence relationship between actions. Besides the visual information, it further utilizes the semantic embeddings of class labels to model the co-occurrence relationship. The CORM works in a plug-and-play manner and can be easily incorporated with the existing sequence models. By considering both visual and semantic co-occurrence, our method achieves high multi-label relationship modeling capacity. Meanwhile, existing datasets in TAL always focus on low-semantic atomic actions. Thus we construct a challenging multi-label dataset UCF-Crime-TAL that focuses on high-semantic actions by annotating the UCF-Crime dataset at frame level and considering the semantic overlap of different events. Extensive experiments on two commonly used TAL datasets, \textit{i.e.}, MultiTHUMOS and TSU, and our newly proposed UCF-Crime-TAL demenstrate the effectiveness of the proposed CORM, which achieves state-of-the-art performance on these datasets.
• Abstract（参考訳）: 時間的行動ローカライゼーション(TAL)は、その大きな応用可能性のために一般的な課題である。 この分野での既存の作品は、主に2つの弱点に苦しめられている: (1) 彼らはしばしばマルチラベルのケースを無視し、時間的モデリングにのみ焦点を合わせている。 2) クラスラベルのセマンティック情報を無視し,視覚情報のみを使用する。 これらの問題を解決するために、アクション間の共起関係を明示的にモデル化する新しい共起関係モジュール(CORM)を提案する。 視覚的情報に加えて、クラスラベルの意味的埋め込みを利用して共起関係をモデル化する。 CORMはプラグアンドプレイ方式で動作し、既存のシーケンスモデルに簡単に組み込むことができる。 視覚的・意味的共起性を考慮した多ラベル関係モデリング能力を実現する。 一方、TALの既存のデータセットは、常に低セマンティックなアトミックアクションに焦点を当てている。 そこで我々は,UCF-Crimeデータセットをフレームレベルでアノテートし,異なるイベントのセマンティックオーバーラップを考慮し,高セマンティックなアクションに焦点を当てた,挑戦的なマルチラベルデータセットUCF-Crime-TALを構築した。 一般的なtalデータセットである \textit{i.e.}, multithumos,tsu,および新たに提案されたutf-crime-talの広範な実験により,提案するcormの有効性が検証された。

関連論文リスト

• MAVEN-ERE: A Unified Large-scale Dataset for Event Coreference, Temporal, Causal, and Subevent Relation Extraction [78.61546292830081]
  アノテーションを改良した大規模EREデータセットMAVEN-EREを構築した。 103,193個のイベント・コア・チェイン、1,216,217個の時間関係、57,992個の因果関係、15,841個の部分関係を含む。 実験の結果,MAVEN-ERE上でのEREは極めて困難であり,共同学習との相互関係を考慮すれば性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-14T13:34:49Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• CTRN: Class-Temporal Relational Network for Action Detection [7.616556723260849]
  エンドツーエンドネットワーク:CTRN(Class-Temporal Network)を導入する。 CTRNには、Transform Representation Module、Class-Temporal Module、G-classifierの3つの重要なコンポーネントが含まれている。 CTRを3つの高密度ラベル付きデータセット上で評価し、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-26T08:15:47Z)
• Hierarchical Latent Relation Modeling for Collaborative Metric Learning [8.59872983871365]
  CML(Collaborative Metric Learning)は、暗黙のフィードバックによる協調フィルタリングに基づく推奨のための強力なパラダイムとして最近登場した。 暗黙的なデータから潜在ユーザ・イテムとアイテム・イテムの関係を共同でキャプチャする階層型CMLモデルを提案する。 実世界の複数のデータセットにおける推薦タスクにおいて、既存のCMLモデルよりも優れた性能を発揮することにより、この連関関係モデルの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-07-26T17:45:11Z)
• Mutual Graph Learning for Camouflaged Object Detection [31.422775969808434]
  主な課題は、前景の物体と背景の環境との固有の類似性によって、深いモデルによって抽出された特徴が区別できないことである。 我々は,正規格子からグラフ領域への従来の相互学習の考え方を一般化する,新しい相互グラフ学習モデルを設計する。 すべてのタスク間インタラクションをモデリングするために共有関数を使用するほとんどの相互学習アプローチとは対照的に、mglは異なる補完関係を扱うための型付き関数を備えている。
  論文  参考訳（メタデータ） (2021-04-03T10:14:39Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)
• Modeling Multi-Label Action Dependencies for Temporal Action Localization [53.53490517832068]
  実世界のビデオには、アクションクラス間の固有の関係を持つ多くの複雑なアクションが含まれている。 非発生ビデオにおける時間的行動の局在化のタスクのためのこれらの行動関係をモデル化する注意に基づくアーキテクチャを提案する。 マルチラベルアクションローカリゼーションベンチマークの最先端の方法よりもパフォーマンスが向上しました。
  論文  参考訳（メタデータ） (2021-03-04T13:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。