論文の概要: Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition

• arxiv url: http://arxiv.org/abs/2605.23288v1
• Date: Fri, 22 May 2026 07:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.23154
• Title: Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition
• Title（参考訳）: オープンボキャブラリ動作認識のための時空間類似ボリューム集約
• Authors: Yerim So, Jiyeong Kim, Jiwon Yoon, Dongbo Min,
• Abstract要約: 濃密な4次元時間的視覚テキスト類似性を構成するフレームワークである類似度ボリュームアグリゲーション(VAVA)を提示する。 VAVAはゼロショットとベース・ツー・ノーベルベンチマークの競合性能を達成する。
• 参考スコア（独自算出の注目度）: 22.950483435251694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Open-Vocabulary Action Recognition (OVAR) methods typically aggregate visual features into a global representation before computing text alignment, a process that obscures local patch information and fine-grained spatio-temporal cues. We propose Similarity Volume Aggregation (SimVA), a framework that constructs a dense 4D spatio-temporal similarity volume from patch-level visual-text similarities. SimVA constructs a spatio-temporal similarity volume over local video tokens and action classes, and employs class sampling to ensure similarity aggregation scalable to large vocabularies. The similarity volume is refined by spatial aggregation, which contextualizes local similarity patterns to improve intra-frame consistency. Motion-aware modulation further injects inter-frame variation cues, highlighting dynamically changing regions. Mamba-based temporal aggregation then models the evolution of class-conditioned similarity patterns across frames. By maintaining dense visual-text correspondence, SimVA effectively transfers CLIP to video action recognition, achieving competitive performance across zero-shot, few-shot, and base-to-novel benchmarks.
• Abstract（参考訳）: 最近のOpen-Vocabulary Action Recognition (OVAR)法は、通常、テキストアライメントを計算する前に視覚的特徴をグローバルな表現に集約する。 パッチレベルの視覚テキスト類似度から高密度な4次元時空間類似度ボリュームを構築するフレームワークであるSimVAを提案する。 SimVAは、ローカルなビデオトークンやアクションクラスに対して時空間的類似度ボリュームを構築し、クラスサンプリングを使用して、大規模な語彙に拡張可能な類似度アグリゲーションを保証する。 類似度ボリュームは、局所的な類似度パターンを文脈化してフレーム内整合性を改善する空間アグリゲーションによって洗練される。 モーションアウェア変調はフレーム間の変動キューをさらに注入し、動的に変化する領域をハイライトする。 マンバに基づく時間的集約は、フレーム間のクラス条件付き類似性パターンの進化をモデル化する。 濃密なビジュアルテキスト対応を維持することで、SimVAはCLIPをビデオアクション認識に効果的に転送し、ゼロショット、少数ショット、ベース・ツー・ノーベルベンチマーク間の競合性能を達成する。

関連論文リスト

• Consistent Instance Field for Dynamic Scene Understanding [33.531802145968825]
  本稿では,動的シーン理解のための連続的・確率的時間的表現であるConsistent Instance Fieldを紹介する。 提案手法は,各時空点を占有確率と条件分布でモデル化することにより,永続オブジェクトの同一性から遠ざかっている。
  論文  参考訳（メタデータ） (2025-12-16T06:12:11Z)
• DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
  textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。 我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。 NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2025-12-12T10:39:10Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Vision-Language Models Assisted Unsupervised Video Anomaly Detection [3.1095294567873606]
  異常サンプルは教師なし学習手法における重要な課題を示す。 提案手法では,大規模言語モデルの推論能力を活用したモーダル事前学習モデルを用いる。 本手法は,高次元視覚特徴を低次元意味的特徴にマッピングすることにより,教師なし異常検出の解釈可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-21T11:48:54Z)
• Reconstructing Spatiotemporal Data with C-VAEs [49.1574468325115]
  移動領域の条件付き連続表現は一般的に用いられる。 本研究では,条件変数自動エンコーダ(C-VAE)モデルを用いて,領域の進化を現実的に表現する機能について検討する。
  論文  参考訳（メタデータ） (2023-07-12T15:34:10Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。