論文の概要: Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy

• arxiv url: http://arxiv.org/abs/2501.18509v2
• Date: Tue, 11 Mar 2025 12:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 16:15:12.293854
• Title: Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy
• Title（参考訳）: Reframing Dense Action Detection (RefDense): 問題解決におけるパラダイムシフトと新しい最適化戦略
• Authors: Faegheh Sardari, Armin Mustafa, Philip J. B. Jackson, Adrian Hilton,
• Abstract要約: 時間的重複とクラスオーバーラップという2つの課題に対処するには複雑すぎると我々は主張する。 本稿では, 密接な曖昧な部分概念を検出するために, 密接なあいまいな動作を検出するタスクを分解することを提案する。 我々の実験は、最先端手法に対するアプローチの優位性を実証している。
• 参考スコア（独自算出の注目度）: 23.100602876056165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense action detection involves detecting multiple co-occurring actions while action classes are often ambiguous and represent overlapping concepts. We argue that handling the dual challenge of temporal and class overlaps is too complex to effectively be tackled by a single network. To address this, we propose to decompose the task of detecting dense ambiguous actions into detecting dense, unambiguous sub-concepts that form the action classes (i.e., action entities and action motions), and assigning these sub-tasks to distinct sub-networks. By isolating these unambiguous concepts, the sub-networks can focus exclusively on resolving a single challenge, dense temporal overlaps. Furthermore, simultaneous actions in a video often exhibit interrelationships, and exploiting these relationships can improve the method performance. However, current dense action detection networks fail to effectively learn these relationships due to their reliance on binary cross-entropy optimization, which treats each class independently. To address this limitation, we propose providing explicit supervision on co-occurring concepts during network optimization through a novel language-guided contrastive learning loss. Our extensive experiments demonstrate the superiority of our approach over state-of-the-art methods, achieving substantial improvements of 3.8% and 1.7% on average across all metrics on the challenging benchmark datasets, Charades and MultiTHUMOS.
• Abstract（参考訳）: 複雑なアクション検出は複数の共起アクションの検出を伴うが、アクションクラスは曖昧で重複する概念を表すことが多い。 時間的重複とクラスオーバーラップという2つの課題を扱うのは複雑すぎるため、単一のネットワークで効果的に対処できない、と我々は主張する。 そこで本研究では,密接なあいまいな動作を検出するタスクを分解して,アクションクラス(アクションエンティティやアクションモーションなど)を構成する濃密で曖昧なサブコンセプトを検出し,これらのサブタスクを個別のサブネットワークに割り当てることを提案する。 これらの曖昧な概念を分離することで、サブネットワークは単一の課題、密集した時間的重複を解決することにのみ焦点を絞ることができる。 さらに、ビデオ内の同時アクションは相互関係を示すことが多く、これらの関係を活用することで、メソッドのパフォーマンスが向上する。 しかし、現在の高密度動作検出ネットワークは、各クラスを独立に扱うバイナリクロスエントロピー最適化に依存するため、これらの関係を効果的に学習することができない。 この制限に対処するため,新たな言語誘導型コントラスト学習損失を通じて,ネットワーク最適化における共起概念の明示的な監督を提案する。 我々の大規模な実験は、最先端の手法に対する我々のアプローチの優位性を実証し、挑戦的なベンチマークデータセット、Charades、MultiTHUMOS上でのすべてのメトリクスの平均3.8%と1.7%の大幅な改善を実現した。

関連論文リスト

• Low-rank Prompt Interaction for Continual Vision-Language Retrieval [47.323830129786145]
  本稿では,マルチモーダル理解の問題に対処するために,低ランクプロンプトインタラクションを提案する。 トレーニングパラメータがレイヤー数やタスク数にスケールすることを考えると、低ランクな相互作用強化分解を提案する。 また、ロバストネストレーニングを確保するために、階層的な低ランクのコントラスト学習を採用しています。
  論文  参考訳（メタデータ） (2025-01-24T10:00:47Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• An Effective-Efficient Approach for Dense Multi-Label Action Detection [23.100602876056165]
  i)時間的依存関係と(ii)共起行動関係を同時に学習する必要がある。 近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。 我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
  論文  参考訳（メタデータ） (2024-06-10T11:33:34Z)
• Leveraging triplet loss for unsupervised action segmentation [0.0]
  本稿では,アクションセグメンテーションタスクに適したアクション表現を,単一入力ビデオ自体から学習する,完全に教師なしのフレームワークを提案する。 本手法は,三重項損失が類似度分布に作用する浅層ネットワークに根ざした深部距離学習手法である。 このような状況下では、既存の教師なしアプローチと比較して、学習された行動表現の時間的境界を高い品質で回復することに成功した。
  論文  参考訳（メタデータ） (2023-04-13T11:10:16Z)
• DIR-AS: Decoupling Individual Identification and Temporal Reasoning for Action Segmentation [84.78383981697377]
  完全な教師付きアクションセグメンテーションは、高密度アノテーションによるフレームワイドアクション認識に作用し、しばしば過剰なセグメンテーションの問題に悩まされる。 本研究では, 時間的ピラミッド拡張と時間的ピラミッドプールを併用して, 効率的なマルチスケールアテンションを実現するため, 新たなローカル・グローバルアテンション機構を開発した。 GTEAでは82.8%(+2.6%)、Breakfastでは74.7%(+1.2%)の精度を実現し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-04-04T20:27:18Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• CTRN: Class-Temporal Relational Network for Action Detection [7.616556723260849]
  エンドツーエンドネットワーク:CTRN(Class-Temporal Network)を導入する。 CTRNには、Transform Representation Module、Class-Temporal Module、G-classifierの3つの重要なコンポーネントが含まれている。 CTRを3つの高密度ラベル付きデータセット上で評価し、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-26T08:15:47Z)
• Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
  現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。 そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。 粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
  論文  参考訳（メタデータ） (2021-08-15T02:21:01Z)
• Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video [128.41392860714635]
  Weakly-Supervised Snoma-Temporally Detection (WSSTAD) を監視ビデオに導入する。 WSSTADは異常事象を封止する時空間管(すなわち連続する境界ボックスのシーケンス)をローカライズすることを目的としている。 本稿では,空間的・時間的領域に複数粒度を持つ入力提案を行うデュアルブランチネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-09T06:11:14Z)
• Cross-modal Consensus Network for Weakly Supervised Temporal Action Localization [74.34699679568818]
  時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。 この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:21:01Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Multi-object Tracking with a Hierarchical Single-branch Network [31.680667324595557]
  階層的な単一ブランチネットワークに基づくオンライン多目的追跡フレームワークを提案する。 新たなiHOIM損失関数は,2つのサブタスクの目的を統一し,より優れた検出性能を実現する。 MOT16とMOT20データセットの実験結果から,最先端のトラッキング性能が達成できた。
  論文  参考訳（メタデータ） (2021-01-06T12:14:58Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。