論文の概要: MS-Temba : Multi-Scale Temporal Mamba for Efficient Temporal Action Detection

• arxiv url: http://arxiv.org/abs/2501.06138v1
• Date: Fri, 10 Jan 2025 17:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 18:34:15.326836
• Title: MS-Temba : Multi-Scale Temporal Mamba for Efficient Temporal Action Detection
• Title（参考訳）: MS-Temba : 効果的な時間行動検出のためのマルチスケールテンポラルマンバ
• Authors: Arkaprava Sinha, Monish Soundar Raj, Pu Wang, Ahmed Helmy, Srijan Das,
• Abstract要約: 実世界のシナリオにおけるアクション検出は、時間長の未トリミングビデオにおける密集したアクションのため、特に困難である。 動作検出にマンバアーキテクチャを適用し,マルチスケールテンポラルマンバ(MS-Temba)を提案する。 MS-Tembaは3つの公開データセットで検証され、長いビデオでSOTAメソッドを上回り、短いビデオで先行メソッドにマッチする。
• 参考スコア（独自算出の注目度）: 11.534493974662304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action detection in real-world scenarios is particularly challenging due to densely distributed actions in hour-long untrimmed videos. It requires modeling both short- and long-term temporal relationships while handling significant intra-class temporal variations. Previous state-of-the-art (SOTA) Transformer-based architectures, though effective, are impractical for real-world deployment due to their high parameter count, GPU memory usage, and limited throughput, making them unsuitable for very long videos. In this work, we innovatively adapt the Mamba architecture for action detection and propose Multi-scale Temporal Mamba (MS-Temba), comprising two key components: Temporal Mamba (Temba) Blocks and the Temporal Mamba Fuser. Temba Blocks include the Temporal Local Module (TLM) for short-range temporal modeling and the Dilated Temporal SSM (DTS) for long-range dependencies. By introducing dilations, a novel concept for Mamba, TLM and DTS capture local and global features at multiple scales. The Temba Fuser aggregates these scale-specific features using Mamba to learn comprehensive multi-scale representations of untrimmed videos. MS-Temba is validated on three public datasets, outperforming SOTA methods on long videos and matching prior methods on short videos while using only one-eighth of the parameters.
• Abstract（参考訳）: 実世界のシナリオにおけるアクション検出は、時間長の未トリミングビデオにおける密集したアクションのため、特に困難である。 クラス内の時間的変動に対処しながら、短期的・長期的関係の両方をモデル化する必要がある。 従来の最先端(SOTA)トランスフォーマーベースのアーキテクチャは、有効ではあるが、高いパラメータ数、GPUメモリ使用量、スループットの制限により、現実のデプロイメントには実用的ではないため、非常に長いビデオには適さない。 本研究では,動作検出のためのマンバアーキテクチャを革新的に適用し,テンポラルマンバブロックとテンポラルマンバフーザーの2つの重要な構成要素からなるマルチスケールテンポラルマンバ(MS-Temba)を提案する。 テンバブロックには、短距離時間モデリングのためのTLM(Temporal Local Module)と長距離依存のためのDilated Temporal SSM(DTS)が含まれる。 ダイレーションを導入することで、Mamba, TLM, DTSの新たなコンセプトが、複数のスケールでローカルおよびグローバルな特徴をキャプチャする。 Temba Fuserは、Mambaを使ってこれらのスケール固有の機能を集約して、未トリミングビデオの包括的なマルチスケール表現を学習する。 MS-Tembaは3つの公開データセットで検証され、長いビデオでSOTAメソッドを上回り、パラメータの8分の1しか使用せずに短いビデオで先行メソッドをマッチングする。

関連論文リスト

• MVQA: Mamba with Unified Sampling for Efficient Video Quality Assessment [24.053542031123985]
  ビデオ品質評価(VQA)のためのマンバモデルMVQAを提案する。 USDSは低解像度ビデオからのセマンティックパッチサンプリングと、オリジナル解像度ビデオからの歪みパッチサンプリングを組み合わせる。 実験の結果,提案したMVQAにはUSDSが組み込まれており,最先端の手法に匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2025-04-22T16:08:23Z)
• HiSTF Mamba: Hierarchical Spatiotemporal Fusion with Multi-Granular Body-Spatial Modeling for High-Fidelity Text-to-Motion Generation [11.63340847947103]
  テキスト・トゥ・モーション生成のための新しいHiSTF Mambaフレームワークを提案する。 我々は、HiSTF Mambaが複数のメトリクスにわたって最先端のパフォーマンスを達成することを示す。 以上の結果から,HiSTF Mambaは高い忠実度と強いセマンティックアライメントを達成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-03-10T04:01:48Z)
• STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
  ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。 CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。 空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
  論文  参考訳（メタデータ） (2024-12-28T08:49:23Z)
• Look Every Frame All at Once: Video-Ma$^2$mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing [52.050036778325094]
  Video-Ma$2$mbaは、Mamba-2フレームワークにステートスペースモデル(SSM)を組み込んだ新しいアーキテクチャである。 本手法は,標準勾配チェックポイントに比べてメモリフットプリントを大幅に削減する。 時間的ダイナミクスの詳細なキャプチャーを維持することで、長いビデオ理解タスクにおける応答の精度と関連性を改善することができる。
  論文  参考訳（メタデータ） (2024-11-29T04:12:13Z)
• PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba [20.435381963248787]
  従来のディープラーニングに基づくr測定は主にCNNとTransformerに基づいている。 本稿では,マンバをベースとしたフレームワークであるPhysMambaを提案する。 PhysMambaの優位性と効率性を示すために、3つのベンチマークデータセットで大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-09-18T14:48:50Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• DemMamba: Alignment-free Raw Video Demoireing with Frequency-assisted Spatio-Temporal Mamba [18.06907326360215]
  2つの同様の反復パターンの干渉によるモアレパターンは、画面上の画像やビデオのキャプチャ中に頻繁に観察される。 本稿では,周波数アシスト型マンバを用いたアライメントレス生ビデオ復調ネットワークを提案する。 提案するDemMambaはPSNRで1.3dBの最先端手法を超越し,良好な視覚体験を提供する。
  論文  参考訳（メタデータ） (2024-08-20T09:31:03Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  本稿では,時系列予測のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• SPMamba: State-space model is all you need in speech separation [20.168153319805665]
  CNNベースの音声分離モデルは、局所的な受容的場制限に直面し、長期間の依存関係を効果的にキャプチャできない。 本稿では,SPMambaという音声分離手法を提案する。 このモデルは、TF-GridNetアーキテクチャに基づいており、従来のBLSTMモジュールを双方向のMambaモジュールに置き換えている。
  論文  参考訳（メタデータ） (2024-04-02T16:04:31Z)
• Efficient Temporal Extrapolation of Multimodal Large Language Models with Temporal Grounding Bridge [47.750073410717604]
  時間的接地機能を備えたMLLMをブートストラップする新しいフレームワークである時間的接地橋(TGB)について紹介する。 7つのビデオベンチマークでTGBを検証し,従来のMLLMと比較して大幅な性能向上を示した。 4フレームのシーケンスをトレーニングした本モデルでは,性能を犠牲にすることなく,最大16のシーケンスを効果的に処理する。
  論文  参考訳（メタデータ） (2024-02-25T10:27:46Z)
• TemporalMaxer: Maximize Temporal Context with only Max Pooling for Temporal Action Localization [52.234877003211814]
  我々は,抽出したビデオクリップの特徴から情報を最大化しながら,長期の時間的文脈モデリングを最小化するTemporalMaxerを紹介する。 我々は、TemporalMaxerが、長期時間文脈モデリングを利用した他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-16T03:11:26Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• MS-TCT: Multi-Scale Temporal ConvTransformer for Action Detection [37.25262046781015]
  アクション検出は不可欠で困難なタスクであり、特に未トリミングビデオの高密度にラベル付けされたデータセットに対してである。 本稿では,短期情報と長期情報の両方を効率的にキャプチャする行動検出のための新しいConvTransformerネットワークを提案する。 我々のネットワークは3つのデータセットすべてにおいて最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-12-07T18:57:37Z)
• Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
  CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。 我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-07-25T09:07:35Z)
• TAM: Temporal Adaptive Module for Video Recognition [60.83208364110288]
  時間適応モジュール(bf TAM)は、自身の特徴マップに基づいてビデオ固有の時間カーネルを生成する。 Kinetics-400およびSomethingデータセットの実験は、我々のTAMが他の時間的モデリング手法より一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2020-05-14T08:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。