論文の概要: SV-TAD: Native Sparse Convs for Efficient Temporal Action Detection

• arxiv url: http://arxiv.org/abs/2610.11579v1
• Date: Thu, 08 Oct 2026 09:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.929165
• Title: SV-TAD: Native Sparse Convs for Efficient Temporal Action Detection
• Title（参考訳）: SV-TAD:効果的な時間的行動検出のためのネイティブスパース・コンブ
• Abstract要約: ネイティブスパース2D畳み込みは、これらのアダプタが動的に切断されたトークンセット上で直接かつ効率的に動作できるようにするプリミティブである。 我々は,このプリミティブを,時間的動作検出のためのアダプタフレームワークであるSV-TADに統合し,ビデオMAEv2-Lを最大64%削減し,2.2倍高速な推論を実現する。
• 参考スコア（独自算出の注目度）: 1.5136747790595215
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To adapt billion-parameter Vision Transformers for long-video understanding, recent methods freeze the backbone and train lightweight convolutional modules. While effective for parameter-efficient training, existing adapters do not reduce inference-time computation, leaving scalability with respect to video length largely unaddressed. Token selection can reduce attention cost by pruning redundant tokens, but it breaks the spatial grid structure required by convolutional adapters. This forces an expensive dense reconstruction, nullifying much of the potential speedup. We address this by introducing native sparse 2D convolutions, a primitive that allows these adapters, for the first time, to operate directly and efficiently on dynamically pruned token sets. We integrate this primitive into SV-TAD, an adapter framework for temporal action detection, reducing VideoMAEv2-L computation by up to 64% and achieving 2.2x faster inference, while maintaining state-of-the-art accuracy on THUMOS-14 and ActivityNet-1.3. When scaled to InternVideoNext-L, our approach surpasses the previous state of the art at roughly half its computational cost. Moreover, the sparse formulation naturally supports auxiliary task tokens, which improves fine-grained assembly detection on ATTACH.
• Abstract（参考訳）: 数十億パラメータの視覚変換器を長時間の理解に適応させるために、最近の手法は背骨を凍結し、軽量な畳み込みモジュールを訓練する。 パラメータ効率のトレーニングには有効だが、既存のアダプタは推論時間の計算を減らさず、ビデオ長に関するスケーラビリティは概ね問題外である。 トークンの冗長化により、トークン選択は注意コストを低減できるが、畳み込みアダプタが必要とする空間グリッド構造を損なう。 これにより、高コストの高密度な再構築を余儀なくされ、潜在的なスピードアップの多くを無効にする。 ネイティブスパース2D畳み込みは、これらのアダプタが動的に切断されたトークンセット上で直接かつ効率的に動作できるようにするプリミティブである。 我々は、このプリミティブを、時間的動作検出のためのアダプタフレームワークであるSV-TADに統合し、ビデオMAEv2-Lの計算を最大64%削減し、2.2倍高速な推論を実現し、THUMOS-14とActivityNet-1.3の最先端の精度を維持した。 InternVideoNext-Lにスケールすると、我々の手法は従来の最先端の計算コストを約半分で上回っている。 さらに、スパース定式化は補助的タスクトークンを自然にサポートし、ATTACHにおけるきめ細かいアセンブリ検出を改善する。

関連論文リスト

• LiteVSR: Lightweight Adaptation of Frozen Diffusion Transformers for Video Super-Resolution [73.85089704122315]
  軽量な状態認識適応器を備えた冷凍トランスフォーマーを用いて,ビデオ超解法(VSR)を実現するミニマリストフレームワークを提案する。 LiteVSRは、たった11.25%のトレーニング可能なパラメータと1つのA100での12GPU時間のトレーニングで競争力のある復元品質を実現し、高速サンプリング(単一ステップまで)の互換性を維持している。
  論文  参考訳（メタデータ） (2026-06-08T09:23:42Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [19.900719882624028]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• D$^2$ST-Adapter: Disentangled-and-Deformable Spatio-Temporal Adapter for Few-shot Action Recognition [64.153799533257]
  D$2$ST-Adapterは、空間的特徴と時間的特徴の非絡み合いの符号化を可能にする内部のデュアルパスアーキテクチャで構成されている。 本手法は,時間的ダイナミクスが行動認識に不可欠である難易度シナリオに特に適している。
  論文  参考訳（メタデータ） (2023-12-03T15:40:10Z)
• ZeroI2V: Zero-Cost Adaptation of Pre-trained Transformers from Image to Video [15.952896909797728]
  ビデオ領域に画像モデルを適用することは、ビデオ認識タスクを解くための効率的なパラダイムとして現れている。 最近の研究は、パラメータ効率のよい画像から映像への適応に焦点を移している。 画像変換器をビデオ認識タスクに転送する新たな適応パラダイム(ZeroI2V)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T16:41:20Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer [63.99222215387881]
  本稿では,視覚変換器の自己モチベーションの遅いトークン進化手法であるEvo-ViTを提案する。 本手法は,画像分類において同等の性能を維持しつつ,視覚変換器の計算コストを大幅に削減することができる。
  論文  参考訳（メタデータ） (2021-08-03T09:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。