Fugu-MT 論文翻訳(概要): Multi-modal Multi-label Facial Action Unit Detection with Transformer

論文の概要: Multi-modal Multi-label Facial Action Unit Detection with Transformer

arxiv url: http://arxiv.org/abs/2203.13301v2
Date: Mon, 28 Mar 2022 05:17:31 GMT
ステータス: 処理完了
システム内更新日: 2022-03-29 10:45:43.238131
Title: Multi-modal Multi-label Facial Action Unit Detection with Transformer
Title（参考訳）: トランスフォーマーを用いたマルチモーダルマルチラベル顔動作単位検出
Authors: Lingfeng Wang, Shisen Wang, Jin Qi
Abstract要約: 本稿では,第3回ABAW(Affective Behavior Analysis)2022コンペティションについて述べる。映像中の顔行動単位(FAU)を検出するためのトランスフォーマーモデルを提案した。
参考スコア（独自算出の注目度）: 7.30287060715476
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Facial Action Coding System is an important approach of facial expression analysis.This paper describes our submission to the third Affective Behavior Analysis (ABAW) 2022 competition. We proposed a transfomer based model to detect facial action unit (FAU) in video. To be specific, we firstly trained a multi-modal model to extract both audio and visual feature. After that, we proposed a action units correlation module to learn relationships between each action unit labels and refine action unit detection result. Experimental results on validation dataset shows that our method achieves better performance than baseline model, which verifies that the effectiveness of proposed network.
Abstract（参考訳）: 本稿では,第3回ABAW(Affective Behavior Analysis)2022コンペティションへの応募について述べる。映像中の顔行動単位(FAU)を検出するためのトランスフォーマーモデルを提案した。具体的には、まず、音声と視覚の両方を抽出するマルチモーダルモデルを訓練した。その後,各動作単位ラベル間の関係を学習し,動作単位検出結果を改善するための動作単位相関モジュールを提案する。検証データセットにおける実験結果は,提案手法がベースラインモデルよりも優れた性能を達成していることを示す。

関連論文リスト

MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文参考訳（メタデータ） (2024-03-20T09:17:22Z)
DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
論文参考訳（メタデータ） (2024-02-03T06:49:42Z)
Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文参考訳（メタデータ） (2023-12-18T18:59:51Z)
RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文参考訳（メタデータ） (2023-07-03T13:21:58Z)
DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文参考訳（メタデータ） (2023-04-01T08:06:43Z)
Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文参考訳（メタデータ） (2023-03-16T00:06:28Z)
An Ensemble Approach for Multiple Emotion Descriptors Estimation Using Multi-task Learning [12.589338141771385]
本稿では,第4回ABAW(Affective Behavior Analysis in-the-Wild)コンペティションへの提案方法について述べる。顔情報のみを使用する代わりに、顔と顔の周囲のコンテキストを含む提供されるデータセットから完全な情報を利用する。提案システムは,MTLチャレンジ検証データセット上で0.917の性能を実現する。
論文参考訳（メタデータ） (2022-07-22T04:57:56Z)
An Attention-based Method for Action Unit Detection at the 3rd ABAW Competition [6.229820412732652]
本稿では,2022年の第3回ABAW(Affective Behavior Analysis in-the-Wild)コンテストへの参加について述べる。映像中の顔の動きを検知する手法を提案する。 ABAWチャレンジ検証セットのマクロF1スコアは0.48であり,ベースラインモデルでは0.39であった。
論文参考訳（メタデータ） (2022-03-23T14:07:39Z)
A Multi-modal and Multi-task Learning Method for Action Unit and Expression Recognition [18.478011167414223]
視覚情報と音声情報の両方を用いたマルチモーダル・マルチタスク学習手法を提案する。 AUスコアは0.712、式スコアは0.477となる。
論文参考訳（メタデータ） (2021-07-09T03:28:17Z)
Impact of Action Unit Occurrence Patterns on Detection [0.3670422696827526]
動作単位発生パターンが動作単位の検出に与える影響について検討する。その結果,行動単位発生パターンが評価指標に強く影響していることが示唆された。本稿では,行動単位検出の精度を高めるために,発生パターンを用いてディープニューラルネットワークを明示的に訓練する新しい手法を提案する。
論文参考訳（メタデータ） (2020-10-15T19:03:05Z)
Asynchronous Interaction Aggregation for Action Detection [43.34864954534389]
本稿では,異なるインタラクションを活用して動作検出を促進する非同期インタラクション集約ネットワーク(AIA)を提案する。ひとつはインタラクション集約構造(IA)で、複数のタイプのインタラクションをモデル化し統合するための一様パラダイムを採用し、もうひとつはパフォーマンス向上を実現するための非同期メモリ更新アルゴリズム(AMU)です。
論文参考訳（メタデータ） (2020-04-16T07:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。