論文の概要: REACT 2024: the Second Multiple Appropriate Facial Reaction Generation Challenge

• arxiv url: http://arxiv.org/abs/2401.05166v1
• Date: Wed, 10 Jan 2024 14:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 14:29:44.373189
• Title: REACT 2024: the Second Multiple Appropriate Facial Reaction Generation Challenge
• Title（参考訳）: ReACT 2024: 2回目の顔反応生成チャレンジ
• Authors: Siyang Song, Micol Spitale, Cheng Luo, Cristina Palmero, German Barquero, Hengde Zhu, Sergio Escalera, Michel Valstar, Tobias Baur, Fabien Ringeval, Elisabeth Andre, Hatice Gunes
• Abstract要約: ダイアド的相互作用において、人間は言語的および非言語的手がかりを用いて意図と心の状態を伝える。 複数の適切な、多様性があり、現実的で、同期された人間の顔反応を自動的に生成できる機械学習(ML)モデルの開発は、難しい作業です。 本稿では、REACT 2024チャレンジのガイドラインと、その課題に利用されるデータセットについて述べる。
• 参考スコア（独自算出の注目度）: 36.84914349494818
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In dyadic interactions, humans communicate their intentions and state of mind using verbal and non-verbal cues, where multiple different facial reactions might be appropriate in response to a specific speaker behaviour. Then, how to develop a machine learning (ML) model that can automatically generate multiple appropriate, diverse, realistic and synchronised human facial reactions from an previously unseen speaker behaviour is a challenging task. Following the successful organisation of the first REACT challenge (REACT 2023), this edition of the challenge (REACT 2024) employs a subset used by the previous challenge, which contains segmented 30-secs dyadic interaction clips originally recorded as part of the NOXI and RECOLA datasets, encouraging participants to develop and benchmark Machine Learning (ML) models that can generate multiple appropriate facial reactions (including facial image sequences and their attributes) given an input conversational partner's stimulus under various dyadic video conference scenarios. This paper presents: (i) the guidelines of the REACT 2024 challenge; (ii) the dataset utilized in the challenge; and (iii) the performance of the baseline systems on the two proposed sub-challenges: Offline Multiple Appropriate Facial Reaction Generation and Online Multiple Appropriate Facial Reaction Generation, respectively. The challenge baseline code is publicly available at https://github.com/reactmultimodalchallenge/baseline_react2024.
• Abstract（参考訳）: ダイヤド的相互作用において、人間は言語的および非言語的手がかりを用いて、特定の話者行動に反応する複数の異なる顔反応が適切であるような意図と心の状態を伝える。 そして、これまで目にしたことのない話者行動から、複数の適切な、多様性、現実的、同期した人間の顔反応を自動的に生成できる機械学習(ml)モデルの開発は、難しい課題である。 Following the successful organisation of the first REACT challenge (REACT 2023), this edition of the challenge (REACT 2024) employs a subset used by the previous challenge, which contains segmented 30-secs dyadic interaction clips originally recorded as part of the NOXI and RECOLA datasets, encouraging participants to develop and benchmark Machine Learning (ML) models that can generate multiple appropriate facial reactions (including facial image sequences and their attributes) given an input conversational partner's stimulus under various dyadic video conference scenarios. 本稿では, i)REACT 2024チャレンジのガイドライン (ii)課題で用いられるデータセット 3) 提案した2つのサブチャレンジ上でのベースラインシステムの性能は, オフライン多重顔反応生成とオンライン複数顔反応生成である。 チャレンジベースラインコードはhttps://github.com/reactmultimodalchallenge/baseline_react2024で公開されている。

関連論文リスト

• Overview of AI-Debater 2023: The Challenges of Argument Generation Tasks [62.443665295250035]
  第2023回中国影響コンピューティング会議(CCAC 2023)におけるAI-Debater 2023チャレンジの結果を提示する。 合計で32のチームがチャレンジに登録し、そこから11の応募をもらいました。
  論文  参考訳（メタデータ） (2024-07-20T10:13:54Z)
• The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition [64.5207572897806]
  マルチモーダル・センティメント・アナリティクス・チャレンジ (MuSe) 2024は、現代の2つのマルチモーダル・インフルエンスと感情分析の問題に対処する。 Social Perception Sub-Challenge (MuSe-Perception)では、参加者は16種類の個人の社会的属性を予測する。 クロスカルカルカルチャー・ヒューモー検出サブチャレンジ(MuSe-Humor)データセットは、Passau Spontaneous Football Coach Humorデータセット上に拡張される。
  論文  参考訳（メタデータ） (2024-06-11T22:26:20Z)
• Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data [104.45155847778584]
  本稿では,合成データ時代における第2回顔認識チャレンジの概要について述べる。 FRCSynは、現在の技術的制限に対処するために、顔認識における合成データの使用について調査することを目的としている。
  論文  参考訳（メタデータ） (2024-04-16T08:15:10Z)
• REACT2023: the first Multi-modal Multiple Appropriate Facial Reaction Generation Challenge [28.777465429875303]
  Multi-modal Multiple Appropriate Facial Reaction Generation Challenge (REACT2023)は、マルチメディア処理と機械学習技術を評価することに焦点を当てた最初のコンペティションイベントである。 この課題の目標は、マルチモーダル情報処理のための最初のベンチマークテストセットを提供することと、オーディオ、視覚、およびオーディオ視覚的コンピュータコミュニティ間のコラボレーションを促進することである。
  論文  参考訳（メタデータ） (2023-06-11T04:15:56Z)
• ReactFace: Online Multiple Appropriate Facial Reaction Generation in Dyadic Interactions [46.66378299720377]
  ダイアドインタラクションでは、聴取者の顔反応を予測することは困難であり、同じ話者の振る舞いに応じて異なる反応が適している可能性がある。 本稿では,外挿や予測問題としてタスクを再構築し,複数の異なる顔反応を生成する新しいフレームワーク(ReactFace)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T05:55:53Z)
• Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation [22.579200870471475]
  本稿では,最初の複数顔反応生成フレームワークを提案する。 顔の反応生成問題を1対1のマッピング問題として再定式化する。 実験の結果,提案手法は既存のモデルよりも,より適切で現実的で,同期的な顔反応を生成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T15:56:26Z)
• Face-to-Face Contrastive Learning for Social Intelligence Question-Answering [55.90243361923828]
  マルチモーダル手法は多くのタスクで技術の状態を設定するが、複雑な対面会話のダイナミクスをモデル化することは困難である。 社会的相互作用をモデル化するグラフニューラルネットワークF2F-CLを提案する。 課題であるSocial-IQデータセットを実験的に評価し、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-07-29T20:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。