論文の概要: Two-Stream Aural-Visual Affect Analysis in the Wild

• arxiv url: http://arxiv.org/abs/2002.03399v2
• Date: Tue, 3 Mar 2020 13:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 14:06:31.512584
• Title: Two-Stream Aural-Visual Affect Analysis in the Wild
• Title（参考訳）: 野生における2ストリーム音声・視覚的影響分析
• Authors: Felix Kuhnke, Lars Rumberg, J\"orn Ostermann
• Abstract要約: 本稿では,ABAW(Affective Behavior Analysis in-the-wild)2020コンペティションについて紹介する。 本稿では,映像から感情行動を認識するための2ストリーム聴覚・視覚分析モデルを提案する。 我々のモデルは、挑戦的なAff-Wild2データベース上で有望な結果を得る。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human affect recognition is an essential part of natural human-computer interaction. However, current methods are still in their infancy, especially for in-the-wild data. In this work, we introduce our submission to the Affective Behavior Analysis in-the-wild (ABAW) 2020 competition. We propose a two-stream aural-visual analysis model to recognize affective behavior from videos. Audio and image streams are first processed separately and fed into a convolutional neural network. Instead of applying recurrent architectures for temporal analysis we only use temporal convolutions. Furthermore, the model is given access to additional features extracted during face-alignment. At training time, we exploit correlations between different emotion representations to improve performance. Our model achieves promising results on the challenging Aff-Wild2 database.
• Abstract（参考訳）: 人間の感情認識は、人間とコンピュータの相互作用の重要な部分である。 しかし、現在の手法はまだ初期段階にあり、特にwildデータの場合である。 本稿では,ABAW(Affective Behavior Analysis in-the-Wild)2020コンペティションについて紹介する。 映像から感情行動を認識するための2ストリーム聴覚・視覚分析モデルを提案する。 音声と画像ストリームは、最初に別々に処理され、畳み込みニューラルネットワークに供給される。 時間分析に再帰的アーキテクチャを適用する代わりに、時間的畳み込みのみを使う。 さらに、モデルには、顔のアライメント中に抽出された追加機能へのアクセスが与えられる。 トレーニング時には、異なる感情表現間の相関を利用してパフォーマンスを向上させる。 我々のモデルは、挑戦的なAff-Wild2データベース上で有望な結果を得る。

関連論文リスト

• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• SUN Team's Contribution to ABAW 2024 Competition: Audio-visual Valence-Arousal Estimation and Expression Recognition [8.625751046347139]
  本研究では,感情認識における視覚的深層学習手法について検討する。 細調整畳み込みニューラルネットワーク(CNN)と公共次元感情モデル(PDEM)に基づくアーキテクチャの有効性について検討する。 多段階学習モード特化ディープニューラルネット(DNN)の埋め込みを用いた時間モデルと融合戦略の比較を行った。
  論文  参考訳（メタデータ） (2024-03-19T10:24:15Z)
• SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video [61.21388780334379]
  この研究は、自己監督的な方法で行われるビデオのみの入力からの明らかな感情的反応の認識に焦点を当てる。 ネットワークは、まず異なる自己教師付きプレテキストタスクで事前訓練され、その後、下流のターゲットタスクで微調整される。
  論文  参考訳（メタデータ） (2022-10-20T15:21:51Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• An Ensemble Approach for Facial Expression Analysis in Video [5.363490780925308]
  本稿では,ABAW3 2022の課題について紹介する。 論文は問題の解決に焦点を当てている。 価-覚醒推定とアクションユニット検出。
  論文  参考訳（メタデータ） (2022-03-24T07:25:23Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• Prior Aided Streaming Network for Multi-task Affective Recognitionat the 2nd ABAW2 Competition [9.188777864190204]
  我々は第2回ABAW2コンペティション(ABAW2コンペティション)に応募する。 異なる感情表現を扱う際に,マルチタスク・ストリーミング・ネットワークを提案する。 我々は、先行知識として高度な表情埋め込みを活用している。
  論文  参考訳（メタデータ） (2021-07-08T09:35:08Z)
• Multi-modal Affect Analysis using standardized data within subjects in the Wild [8.05417723395965]
  本稿では,表情(EXP)に着目した感情認識手法を提案する。 提案手法は,評価精度とロバスト性を効果的に向上する。
  論文  参考訳（メタデータ） (2021-07-07T04:18:28Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• Adversarial-based neural networks for affect estimations in the wild [3.3335236123901995]
  本研究では,本研究で提案した対戦型ネットワークによる潜在機能の利用について検討する。 具体的には,判別器にいくつかのモードをアグリゲートすることで,生成器が抽出した潜在特性にさらに適応する。 最近リリースされたSEWAデータセットの実験は、結果の進歩的な改善を示唆している。
  論文  参考訳（メタデータ） (2020-02-03T16:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。