論文の概要: Towards Scalable Modeling of Compressed Videos for Efficient Action Recognition

• arxiv url: http://arxiv.org/abs/2503.13724v1
• Date: Mon, 17 Mar 2025 21:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:20.437796
• Title: Towards Scalable Modeling of Compressed Videos for Efficient Action Recognition
• Title（参考訳）: 効率的な行動認識のための圧縮映像のスケーラブルなモデリングに向けて
• Authors: Shristi Das Biswas, Efstathia Soufleri, Arani Roy, Kaushik Roy,
• Abstract要約: 提案するハイブリッドなエンドツーエンドフレームワークは,3つの重要な概念にまたがって学習を分解し,推論コストを先行技術に対して330倍に削減する。 実験により,本手法は最先端のビデオ認識性能を実現する軽量なアーキテクチャを実現することが示された。
• 参考スコア（独自算出の注目度）: 6.168286187549952
• License:
• Abstract: Training robust deep video representations has proven to be computationally challenging due to substantial decoding overheads, the enormous size of raw video streams, and their inherent high temporal redundancy. Different from existing schemes, operating exclusively in the compressed video domain and exploiting all freely available modalities, i.e., I-frames, and P-frames (motion vectors and residuals) offers a compute-efficient alternative. Existing methods approach this task as a naive multi-modality problem, ignoring the temporal correlation and implicit sparsity across P-frames for modeling stronger shared representations for videos of the same action, making training and generalization easier. By revisiting the high-level design of dominant video understanding backbones, we increase inference speed by a factor of $56$ while retaining similar performance. For this, we propose a hybrid end-to-end framework that factorizes learning across three key concepts to reduce inference cost by $330\times$ versus prior art: First, a specially designed dual-encoder scheme with efficient Spiking Temporal Modulators to minimize latency while retaining cross-domain feature aggregation. Second, a unified transformer model to capture inter-modal dependencies using global self-attention to enhance I-frame -- P-frame contextual interactions. Third, a Multi-Modal Mixer Block to model rich representations from the joint spatiotemporal token embeddings. Experiments show that our method results in a lightweight architecture achieving state-of-the-art video recognition performance on UCF-101, HMDB-51, K-400, K-600 and SS-v2 datasets with favorable costs ($0.73$J/V) and fast inference ($16$V/s). Our observations bring new insights into practical design choices for efficient next-generation spatiotemporal learners. Code is available.
• Abstract（参考訳）: 堅牢なディープビデオ表現のトレーニングは、相当なデコードオーバーヘッド、生のビデオストリームの巨大なサイズ、そしてその固有の時間的冗長性のために、計算的に困難であることが証明されている。 既存のスキームと異なり、圧縮されたビデオ領域でのみ動作し、IフレームやPフレーム(モーションベクトルと残差)など、すべての自由なモダリティを活用することで、計算効率のよい代替手段を提供する。 既存の手法では、Pフレーム間の時間的相関や暗黙の空間性を無視して、同じアクションのビデオに対してより強力な共有表現をモデル化し、トレーニングと一般化を容易にする。 支配的なビデオ理解バックボーンの高レベル設計を再考することにより、同様の性能を維持しつつ、推論速度を56ドルに向上する。 そこで本研究では,3つの重要な概念にまたがって学習を分解し,推論コストを330\times$に削減するハイブリッド・エンド・ツー・エンド・フレームワークを提案する。 第2に、グローバルな自己アテンションを使用してモーダル間の依存関係をキャプチャして、I-frame -- P-frameコンテキストインタラクションを強化する、統一トランスフォーマーモデルです。 第3に、複合時空間トークン埋め込みからリッチ表現をモデル化するマルチモーダルミキサーブロック。 実験の結果,UCF-101, HMDB-51, K-400, K-600, SS-v2データセットに対して,高コスト(0.73$J/V),高速推論(16$V/s)で最先端のビデオ認識性能を実現する軽量なアーキテクチャが得られた。 次世代の時空間学習者のための実践的設計選択に新たな洞察をもたらす。 コードは利用可能。

関連論文リスト

• Mixture of Nested Experts: Adaptive Processing of Visual Tokens [49.43920770789789]
  Vision Transformer (ViT) ベースのモデルは、固有の冗長性に乗じず、より高い計算コストをもたらす。 本報告では,Nested Experts (Mixture of Nested Experts, MONE) について述べる。 我々は、イメージNet-21K、Kineetics400、Something-v2といった標準画像およびビデオデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-07-29T13:19:31Z)
• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)
• Streaming Radiance Fields for 3D Video Synthesis [32.856346090347174]
  本稿では,実世界のダイナミックシーンの新たなビュー合成のための,ストリーミングレージアンス場再構築のための明示的グリッドベース手法を提案する。 挑戦的なビデオシーケンスの実験により、我々の手法は、フレーム当たり15秒のトレーニング速度を、競合的なレンダリング品質で達成できることが示されている。
  論文  参考訳（メタデータ） (2022-10-26T16:23:02Z)
• A Simple Baseline for Video Restoration with Grouped Spatial-temporal Shift [36.71578909392314]
  本研究では,ビデオ復元のための簡易かつ効果的なフレームワークを提案する。 我々のアプローチは、軽量で簡単な手法であるグループ化された時空間シフトに基づいている。 我々のフレームワークは従来の最先端手法よりも優れており、計算コストの4分の1以下である。
  論文  参考訳（メタデータ） (2022-06-22T02:16:47Z)
• VA-RED$^2$: Video Adaptive Redundancy Reduction [64.75692128294175]
  我々は,入力依存の冗長性低減フレームワークva-red$2$を提案する。 ネットワークの重み付けと協調して適応ポリシーを共有重み付け機構を用いて微分可能な方法で学習する。 私たちのフレームワークは、最先端の方法と比較して、計算(FLOP)の20% - 40%$削減を達成します。
  論文  参考訳（メタデータ） (2021-02-15T22:57:52Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。