論文の概要: Affective Behaviour Analysis via Progressive Learning
- arxiv url: http://arxiv.org/abs/2407.16945v1
- Date: Wed, 24 Jul 2024 02:24:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-07-25 15:02:58.569435
- Title: Affective Behaviour Analysis via Progressive Learning
- Title（参考訳）: プログレッシブラーニングによる感情行動分析
- Authors: Chen Liu, Wei Zhang, Feng Qiu, Lincheng Li, Xin Yu,
- Abstract要約: 本稿では,2つの競合トラックに対する提案手法と実験結果について述べる。
Masked-Autoを自己指導で訓練し、高品質な顔機能を実現する。
カリキュラム学習を利用して、モデルを単一の表現の認識から複合表現の認識へ移行する。
- 参考スコア（独自算出の注目度）: 23.455163723584427
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Affective Behavior Analysis aims to develop emotionally intelligent technology that can recognize and respond to human emotions. To advance this, the 7th Affective Behavior Analysis in-the-wild (ABAW) competition establishes two tracks: i.e., the Multi-task Learning (MTL) Challenge and the Compound Expression (CE) challenge based on Aff-Wild2 and C-EXPR-DB datasets. In this paper, we present our methods and experimental results for the two competition tracks. Specifically, it can be summarized in the following four aspects: 1) To attain high-quality facial features, we train a Masked-Auto Encoder in a self-supervised manner. 2) We devise a temporal convergence module to capture the temporal information between video frames and explore the impact of window size and sequence length on each sub-task. 3) To facilitate the joint optimization of various sub-tasks, we explore the impact of sub-task joint training and feature fusion from individual tasks on each task performance improvement. 4) We utilize curriculum learning to transition the model from recognizing single expressions to recognizing compound expressions, thereby improving the accuracy of compound expression recognition. Extensive experiments demonstrate the superiority of our designs.
- Abstract（参考訳）: 感情行動分析(Affective Behavior Analysis)は、人間の感情を認識し、反応できる感情知的な技術を開発することを目的とする。
これを進めるために、第7回Affective Behavior Analysis in-the-Wild (ABAW)コンペティションは、マルチタスク学習(MTL)チャレンジと、Aff-Wild2とC-EXPR-DBデータセットに基づく複合表現(CE)チャレンジの2つのトラックを確立する。
本稿では,2つの競合トラックに対する提案手法と実験結果について述べる。
具体的には、以下の4つの側面で要約できる。
1) 高品質な顔機能を実現するために, マスケッドオートエンコーダを自己指導的に訓練する。
2) 時間収束モジュールを考案し,ビデオフレーム間の時間的情報を取得し,各サブタスクにおけるウィンドウサイズとシーケンス長の影響を探索する。
3) 各種サブタスクの協調最適化を容易にするため, タスク毎の性能改善に対するサブタスク共同訓練と個別タスクからの特徴融合の影響について検討した。
4) カリキュラム学習を利用して, 単一表現の認識から複合表現の認識へモデルを移行し, 複合表現の認識精度を向上させる。
大規模な実験は、我々の設計の優越性を実証している。
関連論文リスト
- Optimal Task Order for Continual Learning of Multiple Tasks [3.591122855617648]
複数のタスクの継続的な学習は、ニューラルネットワークにとって依然として大きな課題である。
本稿では,タスク順序が連続学習にどのように影響するかを考察し,その最適化戦略を提案する。
そこで本研究では,タスク増分連続学習におけるタスク順最適化のための一般化可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-05T16:43:58Z) - Action Recognition Using Temporal Shift Module and Ensemble Learning [0.0]
本稿では,aclICPR 2024におけるマルチモーダル視覚パターン認識ワークショップの一環として,マルチモーダル行動認識チャレンジ(Multi-Modal Action Recognition Challenge)のファーストランクソリューションを提案する。
このコンペティションは、マルチモーダルソースから収集された20のアクションクラスの多様なデータセットを使用して、人間の行動を認識することを目的としている。
提案手法は,20クラスにまたがる人的行動の認識において,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-01-29T10:36:55Z) - ILAEDA: An Imitation Learning Based Approach for Automatic Exploratory Data Analysis [5.012314384895538]
我々は、操作を重要なものにする重要な特徴のすべてが、報酬を使って数学的に正確にキャプチャできるわけではないと論じる。
本稿では,専門家EDAセッションの模倣学習を通じて訓練されたAutoEDAモデルを提案する。
提案手法は,既存のエンドツーエンドEDA手法を最大3倍のベンチマークで上回り,高い性能と一般化を示す。
論文 参考訳（メタデータ） (2024-10-15T04:56:13Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-04-26T07:30:32Z) - Affective Behaviour Analysis via Integrating Multi-Modal Knowledge [24.74463315135503]
ABAW(Affective Behavior Analysis in-wild)の第6回コンペティションでは、Aff-Wild2、Hum-Vidmimic2、C-EXPR-DBデータセットが使用されている。
本稿では,Valence-Arousal (VA) Estimation, Expression (EXPR) Recognition, Action Unit (AU) Detection, Compound Expression (CE) Recognition, Emotional Mimicry Intensity (EMI) Estimationの5つの競合トラックについて提案する。
論文 参考訳（メタデータ） (2024-03-16T06:26:43Z) - The 6th Affective Behavior Analysis in-the-wild (ABAW) Competition [53.718777420180395]
本稿では,第6回ABAWコンペティションについて述べる。
第6回ABAWコンペティションは、人間の感情や行動を理解する上での現代の課題に対処する。
論文 参考訳（メタデータ） (2024-02-29T16:49:38Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳（メタデータ） (2024-01-22T15:11:57Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳（メタデータ） (2023-12-04T08:02:59Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:52Z) - Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。
タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。
本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文 参考訳（メタデータ） (2023-07-18T01:53:18Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T21:51:04Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T17:59:16Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - Multi-task Cross Attention Network in Facial Behavior Analysis [7.910908058662372]
本研究は, 実環境における感情行動分析におけるマルチタスク学習の課題に対する解決策を提案する。
課題は、アクション単位の検出、表情認識、および原子価-覚醒推定の3つのタスクの組み合わせである。
マルチタスク学習性能向上のためのクロスアテンテートモジュールを提案する。
論文 参考訳（メタデータ） (2022-07-21T04:07:07Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2021-12-02T18:59:50Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Winning the ICCV'2021 VALUE Challenge: Task-aware Ensemble and Transfer
Learning with Visual Concepts [20.412239939287886]
VALUE(Video-And-Language Understanding Evaluation)ベンチマークが新たに導入され,マルチモーダル表現学習アルゴリズムの評価と解析が行われている。
VALUEの課題の主な目的は、異なる特徴を持つ様々なタスクに同時に適用可能なタスクに依存しないモデルをトレーニングすることである。
本稿では,1)単一モデル最適化,2)視覚概念を用いた伝達学習,3)タスク認識アンサンブルについて述べる。
論文 参考訳（メタデータ） (2021-10-13T03:50:07Z) - Prior Aided Streaming Network for Multi-task Affective Recognitionat the
2nd ABAW2 Competition [9.188777864190204]
我々は第2回ABAW2コンペティション(ABAW2コンペティション)に応募する。
異なる感情表現を扱う際に,マルチタスク・ストリーミング・ネットワークを提案する。
我々は、先行知識として高度な表情埋め込みを活用している。
論文 参考訳（メタデータ） (2021-07-08T09:35:08Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳（メタデータ） (2021-05-17T13:42:09Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z) - A Multi-resolution Approach to Expression Recognition in the Wild [9.118706387430883]
顔認識タスクを解決するためのマルチリゾリューション手法を提案する。
私たちは、しばしば異なる解像度で画像が取得されるという観察を直感的に根拠としています。
我々は、Affect-in-the-Wild 2データセットに基づいてトレーニングされたSqueeze-and-Excitationブロックを備えたResNetのようなアーキテクチャを使用する。
論文 参考訳（メタデータ） (2021-03-09T21:21:02Z) - Learning Modality Interaction for Temporal Sentence Localization and
Event Captioning in Videos [76.21297023629589]
そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。
提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-28T12:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。