論文の概要: Feature Hallucination for Self-supervised Action Recognition

• arxiv url: http://arxiv.org/abs/2506.20342v1
• Date: Wed, 25 Jun 2025 11:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.719969
• Title: Feature Hallucination for Self-supervised Action Recognition
• Title（参考訳）: 自己教師型行動認識のための特徴幻覚
• Authors: Lei Wang, Piotr Koniusz,
• Abstract要約: 本稿では,RGBビデオフレームからの動作概念と補助的特徴を共同で予測することにより,認識精度を向上させるディープトランスレーショナルアクション認識フレームワークを提案する。 本研究では,Kineetics-400,Kineetics-600,Something V2など,複数のベンチマーク上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 37.20267786858476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding human actions in videos requires more than raw pixel analysis; it relies on high-level semantic reasoning and effective integration of multimodal features. We propose a deep translational action recognition framework that enhances recognition accuracy by jointly predicting action concepts and auxiliary features from RGB video frames. At test time, hallucination streams infer missing cues, enriching feature representations without increasing computational overhead. To focus on action-relevant regions beyond raw pixels, we introduce two novel domain-specific descriptors. Object Detection Features (ODF) aggregate outputs from multiple object detectors to capture contextual cues, while Saliency Detection Features (SDF) highlight spatial and intensity patterns crucial for action recognition. Our framework seamlessly integrates these descriptors with auxiliary modalities such as optical flow, Improved Dense Trajectories, skeleton data, and audio cues. It remains compatible with state-of-the-art architectures, including I3D, AssembleNet, Video Transformer Network, FASTER, and recent models like VideoMAE V2 and InternVideo2. To handle uncertainty in auxiliary features, we incorporate aleatoric uncertainty modeling in the hallucination step and introduce a robust loss function to mitigate feature noise. Our multimodal self-supervised action recognition framework achieves state-of-the-art performance on multiple benchmarks, including Kinetics-400, Kinetics-600, and Something-Something V2, demonstrating its effectiveness in capturing fine-grained action dynamics.
• Abstract（参考訳）: ビデオにおける人間の行動を理解するには、高レベルのセマンティック推論とマルチモーダル機能の効果的な統合に依存する、生のピクセル分析以上のものが必要である。 本稿では,RGBビデオフレームからの動作概念と補助的特徴を共同で予測することにより,認識精度を高める深層翻訳行動認識フレームワークを提案する。 テスト時には、幻覚ストリームは欠落した手がかりを推測し、計算オーバーヘッドを増大させることなく特徴表現を豊かにする。 原画素以外のアクション関連領域に焦点をあてるために,ドメイン固有記述子を2つ導入する。 オブジェクト検出特徴(ODF)は、複数のオブジェクト検出器からの集約出力で文脈的手がかりを捉え、SDF(Saliency Detection Features)は、行動認識に不可欠な空間的および強度パターンを強調する。 我々のフレームワークは、これらの記述子を光学的フロー、改良されたDenseトラジェクトリ、スケルトンデータ、オーディオキューなどの補助的なモダリティとシームレスに統合する。 I3D、AssembleNet、Video Transformer Network、FASTER、最近のVideoMAE V2やInternVideo2といった最先端アーキテクチャと互換性がある。 補助的特徴の不確実性に対処するため,幻覚段階にアレタリック不確実性モデリングを導入し,特徴雑音を軽減するためにロバストな損失関数を導入する。 本稿では,Kinetics-400,Kineetics-600,Something V2など,複数のベンチマーク上での最先端動作を実現するための多モード自己教師型アクション認識フレームワークについて述べる。

関連論文リスト

• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Spatial-Temporal Perception with Causal Inference for Naturalistic Driving Action Recognition [6.115044825582411]
  自動車キャビン監視システムには, 自然な運転行動認識が不可欠である。 これまでのアプローチでは、微妙な振る舞いの違いを観察する能力が限られていたため、実践的な実装に苦労してきた。 本稿では,時間的情報と空間的関係を両立する空間的知覚アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-03-06T04:28:11Z)
• Semantic-aware Video Representation for Few-shot Action Recognition [1.6486717871944268]
  本稿では,これらの問題に対処するシンプルなセマンティック・アウェア・フューショット・アクション認識(SAFSAR)モデルを提案する。 提案手法は,3次元特徴抽出器と効果的な特徴融合方式を併用し,分類のための単純なコサイン類似性により,より優れた性能が得られることを示す。 様々な条件下での5つの挑戦的な数発アクション認識ベンチマークの実験により、提案したSAFSARモデルが最先端の性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-11-10T18:13:24Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)
• Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
  わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。 本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T03:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。