論文の概要: Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy

• arxiv url: http://arxiv.org/abs/2501.18509v2
• Date: Tue, 11 Mar 2025 12:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:39:32.148207
• Title: Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy
• Title（参考訳）: Reframing Dense Action Detection (RefDense): 問題解決におけるパラダイムシフトと新しい最適化戦略
• Authors: Faegheh Sardari, Armin Mustafa, Philip J. B. Jackson, Adrian Hilton,
• Abstract要約: 時間的重複とクラスオーバーラップという2つの課題に対処するには複雑すぎると我々は主張する。 本稿では, 密接な曖昧な部分概念を検出するために, 密接なあいまいな動作を検出するタスクを分解することを提案する。 我々の実験は、最先端手法に対するアプローチの優位性を実証している。
• 参考スコア（独自算出の注目度）: 23.100602876056165
• License:
• Abstract: Dense action detection involves detecting multiple co-occurring actions while action classes are often ambiguous and represent overlapping concepts. We argue that handling the dual challenge of temporal and class overlaps is too complex to effectively be tackled by a single network. To address this, we propose to decompose the task of detecting dense ambiguous actions into detecting dense, unambiguous sub-concepts that form the action classes (i.e., action entities and action motions), and assigning these sub-tasks to distinct sub-networks. By isolating these unambiguous concepts, the sub-networks can focus exclusively on resolving a single challenge, dense temporal overlaps. Furthermore, simultaneous actions in a video often exhibit interrelationships, and exploiting these relationships can improve the method performance. However, current dense action detection networks fail to effectively learn these relationships due to their reliance on binary cross-entropy optimization, which treats each class independently. To address this limitation, we propose providing explicit supervision on co-occurring concepts during network optimization through a novel language-guided contrastive learning loss. Our extensive experiments demonstrate the superiority of our approach over state-of-the-art methods, achieving substantial improvements of 3.8% and 1.7% on average across all metrics on the challenging benchmark datasets, Charades and MultiTHUMOS.
• Abstract（参考訳）: 複雑なアクション検出は複数の共起アクションの検出を伴うが、アクションクラスは曖昧で重複する概念を表すことが多い。 時間的重複とクラスオーバーラップという2つの課題を扱うのは複雑すぎるため、単一のネットワークで効果的に対処できない、と我々は主張する。 そこで本研究では,密接なあいまいな動作を検出するタスクを分解して,アクションクラス(アクションエンティティやアクションモーションなど)を構成する濃密で曖昧なサブコンセプトを検出し,これらのサブタスクを個別のサブネットワークに割り当てることを提案する。 これらの曖昧な概念を分離することで、サブネットワークは単一の課題、密集した時間的重複を解決することにのみ焦点を絞ることができる。 さらに、ビデオ内の同時アクションは相互関係を示すことが多く、これらの関係を活用することで、メソッドのパフォーマンスが向上する。 しかし、現在の高密度動作検出ネットワークは、各クラスを独立に扱うバイナリクロスエントロピー最適化に依存するため、これらの関係を効果的に学習することができない。 この制限に対処するため,新たな言語誘導型コントラスト学習損失を通じて,ネットワーク最適化における共起概念の明示的な監督を提案する。 我々の大規模な実験は、最先端の手法に対する我々のアプローチの優位性を実証し、挑戦的なベンチマークデータセット、Charades、MultiTHUMOS上でのすべてのメトリクスの平均3.8%と1.7%の大幅な改善を実現した。

関連論文リスト

• Low-rank Prompt Interaction for Continual Vision-Language Retrieval [47.323830129786145]
  本稿では,マルチモーダル理解の問題に対処するために,低ランクプロンプトインタラクションを提案する。 トレーニングパラメータがレイヤー数やタスク数にスケールすることを考えると、低ランクな相互作用強化分解を提案する。 また、ロバストネストレーニングを確保するために、階層的な低ランクのコントラスト学習を採用しています。
  論文  参考訳（メタデータ） (2025-01-24T10:00:47Z)
• An Effective-Efficient Approach for Dense Multi-Label Action Detection [23.100602876056165]
  i)時間的依存関係と(ii)共起行動関係を同時に学習する必要がある。 近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。 我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
  論文  参考訳（メタデータ） (2024-06-10T11:33:34Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video [128.41392860714635]
  Weakly-Supervised Snoma-Temporally Detection (WSSTAD) を監視ビデオに導入する。 WSSTADは異常事象を封止する時空間管(すなわち連続する境界ボックスのシーケンス)をローカライズすることを目的としている。 本稿では,空間的・時間的領域に複数粒度を持つ入力提案を行うデュアルブランチネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-09T06:11:14Z)
• Cross-modal Consensus Network for Weakly Supervised Temporal Action Localization [74.34699679568818]
  時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。 この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:21:01Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Multi-object Tracking with a Hierarchical Single-branch Network [31.680667324595557]
  階層的な単一ブランチネットワークに基づくオンライン多目的追跡フレームワークを提案する。 新たなiHOIM損失関数は,2つのサブタスクの目的を統一し,より優れた検出性能を実現する。 MOT16とMOT20データセットの実験結果から,最先端のトラッキング性能が達成できた。
  論文  参考訳（メタデータ） (2021-01-06T12:14:58Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。