論文の概要: AU-vMAE: Knowledge-Guide Action Units Detection via Video Masked Autoencoder

• arxiv url: http://arxiv.org/abs/2407.11468v1
• Date: Tue, 16 Jul 2024 08:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 16:12:18.398247
• Title: AU-vMAE: Knowledge-Guide Action Units Detection via Video Masked Autoencoder
• Title（参考訳）: AU-vMAE:ビデオマスクオートエンコーダによる知識ガイドアクションユニットの検出
• Authors: Qiaoqiao Jin, Rui Shi, Yishun Dou, Bingbing Ni,
• Abstract要約: 顔行動単位(FAU)検出のためのビデオレベルの事前学習方式を提案する。 我々の設計の中心は、ビデオマインドオートエンコーダに基づく事前訓練されたビデオ特徴抽出器である。 提案手法は,BP4DおよびdisFA FAUsデータセットで使用されている既存の最先端手法と比較して,性能の大幅な向上を示す。
• 参考スコア（独自算出の注目度）: 38.04963261966939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Facial Action Unit (FAU) detection methods generally encounter difficulties due to the scarcity of labeled video training data and the limited number of training face IDs, which renders the trained feature extractor insufficient coverage for modeling the large diversity of inter-person facial structures and movements. To explicitly address the above challenges, we propose a novel video-level pre-training scheme by fully exploring the multi-label property of FAUs in the video as well as the temporal label consistency. At the heart of our design is a pre-trained video feature extractor based on the video-masked autoencoder together with a fine-tuning network that jointly completes the multi-level video FAUs analysis tasks, \emph{i.e.} integrating both video-level and frame-level FAU detections, thus dramatically expanding the supervision set from sparse FAUs annotations to ALL video frames including masked ones. Moreover, we utilize inter-frame and intra-frame AU pair state matrices as prior knowledge to guide network training instead of traditional Graph Neural Networks, for better temporal supervision. Our approach demonstrates substantial enhancement in performance compared to the existing state-of-the-art methods used in BP4D and DISFA FAUs datasets.
• Abstract（参考訳）: 現在の顔行動単位(FAU)検出法は、ラベル付きビデオトレーニングデータの不足と、訓練された特徴抽出器が顔間構造や動きの多様さをモデル化するのに不十分である訓練顔IDの数が限られているため、一般的に困難に直面する。 上記の課題に明確に対処するために,ビデオ中のFAUのマルチラベル特性と時間的ラベルの整合性を十分に探求し,新しいビデオレベルの事前学習手法を提案する。 我々の設計の核心は、ビデオマインドオートエンコーダに基づく事前訓練されたビデオ特徴抽出機であり、マルチレベルビデオFAU分析タスクを共同で完了する微調整ネットワークである \emph{i.e.} は、ビデオレベルとフレームレベル両方のFAU検出を統合し、スパースFAUアノテーションからマスク付きフレームを含むオールビデオフレームへの監督セットを劇的に拡大する。 さらに、従来のグラフニューラルネットワークの代わりに、フレーム間およびフレーム内AUペア状態行列を事前知識として利用し、時間的監視を改善する。 提案手法は,BP4DおよびdisFA FAUsデータセットで使用されている既存の最先端手法と比較して,性能の大幅な向上を示す。

関連論文リスト

• Multi-entity Video Transformers for Fine-Grained Video Representation Learning [36.31020249963468]
  ビデオ表現学習のためのトランスフォーマーアーキテクチャの設計を再検討する。 我々の自己監督手法の健全な側面は、時間的パイプラインにおける空間情報の統合の改善である。 我々のMV-Former(Multi-entity Video Transformer)アーキテクチャは、複数のきめ細かいビデオベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-17T21:23:12Z)
• UMMAFormer: A Universal Multimodal-adaptive Transformer Framework for Temporal Forgery Localization [16.963092523737593]
  本稿では,時間的フォージェリー・ローカライゼーション(TFL)のための新しいフレームワークを提案し,マルチモーダル適応によるフォルジェリー・セグメントの予測を行う。 提案手法は,Lav-DF,TVIL,Psyndなど,ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-28T08:20:30Z)
• UVOSAM: A Mask-free Paradigm for Unsupervised Video Object Segmentation via Segment Anything Model [5.632631449489529]
  Segment Anything Model (SAM)は、画像セグメンテーションのための新しいプロンプト駆動パラダイムを導入し、新しい可能性を提供している。 本稿では,STD-Netトラッカーを用いたUVOSのマスクフリーパラダイムであるUVOSAMを提案する。 STD-Netは、フレーム内特徴とフレーム間特徴の効果的な相関を確立するために、空間的・時間的疎結合な変形可能なアテンション機構を組み込んでいる。
  論文  参考訳（メタデータ） (2023-05-22T03:03:29Z)
• Unmasked Teacher: Towards Training-Efficient Video Foundation Models [50.19560876891811]
  ビデオファウンデーションモデル(VFM)は、高い計算コストとデータ不足のため、限られた探索を受けている。 本稿では,既存の手法の利点を生かした時間感応型VFMの訓練効率向上手法を提案する。 我々のモデルは、シーン関連、時間関連、複雑なビデオ言語理解を含む様々なタスクを処理できる。
  論文  参考訳（メタデータ） (2023-03-28T15:39:28Z)
• Video Mask Transfiner for High-Quality Video Instance Segmentation [102.50936366583106]
  Video Mask Transfiner (VMT) は、高効率なビデオトランス構造により、微細な高解像度機能を利用することができる。 当社のVMTアーキテクチャに基づいて,反復的トレーニングと自己補正による自動アノテーション改善アプローチを設計する。 我々はVMTとHQ-YTVISの最新の最先端手法、Youtube-VIS、OVIS、BDD100K MOTSを比較した。
  論文  参考訳（メタデータ） (2022-07-28T11:13:37Z)
• TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning [79.77010271213695]
  本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
  論文  参考訳（メタデータ） (2021-12-07T09:27:56Z)
• Event and Activity Recognition in Video Surveillance for Cyber-Physical Systems [0.0]
  長期動作パターンは、イベントを認識するタスクにおいて、それ自体が重要な役割を果たす。 本研究では,イベント認識作業において,長期動作パターンのみが重要な役割を担っていることを示す。 時間的特徴のみをハイブリッド畳み込みニューラルネットワーク(CNN)+リカレントニューラルネットワーク(RNN)アーキテクチャで活用する。
  論文  参考訳（メタデータ） (2021-11-03T08:30:38Z)
• MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection [76.80153360498797]
  タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。 mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。 本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
  論文  参考訳（メタデータ） (2021-04-04T15:47:14Z)
• Multiview Pseudo-Labeling for Semi-supervised Learning from Video [102.36355560553402]
  本稿では,映像における半教師付き学習において,外観と動作情報という形で相補的視点を用いた新しい枠組みを提案する。 提案手法は複数のビューを対象とするが,それでも外観と動作の入力間で共有されるモデルを訓練する。 複数のビデオ認識データセットにおいて,本手法は教師あり映像表現学習における従来の標準ベンチマークと比較し,教師あり映像表現学習における従来の手法と比較した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:48Z)
• Representation Learning with Video Deep InfoMax [26.692717942430185]
  我々は、DeepInfoMaxをビデオ領域に拡張し、時間的ネットワークにおける同様の構造を利用する。 自然数列と時間ダウンサンプル列の両方からの描画ビューが,キネティクスに制約された行動認識タスクに結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-07-27T02:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。