論文の概要: REACT 2024: the Second Multiple Appropriate Facial Reaction Generation
Challenge
- arxiv url: http://arxiv.org/abs/2401.05166v1
- Date: Wed, 10 Jan 2024 14:01:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 14:29:44.373189
- Title: REACT 2024: the Second Multiple Appropriate Facial Reaction Generation
Challenge
- Title(参考訳): ReACT 2024: 2回目の顔反応生成チャレンジ
- Authors: Siyang Song, Micol Spitale, Cheng Luo, Cristina Palmero, German
Barquero, Hengde Zhu, Sergio Escalera, Michel Valstar, Tobias Baur, Fabien
Ringeval, Elisabeth Andre, Hatice Gunes
- Abstract要約: ダイアド的相互作用において、人間は言語的および非言語的手がかりを用いて意図と心の状態を伝える。
複数の適切な、多様性があり、現実的で、同期された人間の顔反応を自動的に生成できる機械学習(ML)モデルの開発は、難しい作業です。
本稿では、REACT 2024チャレンジのガイドラインと、その課題に利用されるデータセットについて述べる。
- 参考スコア(独自算出の注目度): 36.84914349494818
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In dyadic interactions, humans communicate their intentions and state of mind
using verbal and non-verbal cues, where multiple different facial reactions
might be appropriate in response to a specific speaker behaviour. Then, how to
develop a machine learning (ML) model that can automatically generate multiple
appropriate, diverse, realistic and synchronised human facial reactions from an
previously unseen speaker behaviour is a challenging task. Following the
successful organisation of the first REACT challenge (REACT 2023), this edition
of the challenge (REACT 2024) employs a subset used by the previous challenge,
which contains segmented 30-secs dyadic interaction clips originally recorded
as part of the NOXI and RECOLA datasets, encouraging participants to develop
and benchmark Machine Learning (ML) models that can generate multiple
appropriate facial reactions (including facial image sequences and their
attributes) given an input conversational partner's stimulus under various
dyadic video conference scenarios. This paper presents: (i) the guidelines of
the REACT 2024 challenge; (ii) the dataset utilized in the challenge; and (iii)
the performance of the baseline systems on the two proposed sub-challenges:
Offline Multiple Appropriate Facial Reaction Generation and Online Multiple
Appropriate Facial Reaction Generation, respectively. The challenge baseline
code is publicly available at
https://github.com/reactmultimodalchallenge/baseline_react2024.
- Abstract(参考訳): ダイヤド的相互作用において、人間は言語的および非言語的手がかりを用いて、特定の話者行動に反応する複数の異なる顔反応が適切であるような意図と心の状態を伝える。
そして、これまで目にしたことのない話者行動から、複数の適切な、多様性、現実的、同期した人間の顔反応を自動的に生成できる機械学習(ml)モデルの開発は、難しい課題である。
Following the successful organisation of the first REACT challenge (REACT 2023), this edition of the challenge (REACT 2024) employs a subset used by the previous challenge, which contains segmented 30-secs dyadic interaction clips originally recorded as part of the NOXI and RECOLA datasets, encouraging participants to develop and benchmark Machine Learning (ML) models that can generate multiple appropriate facial reactions (including facial image sequences and their attributes) given an input conversational partner's stimulus under various dyadic video conference scenarios.
本稿では,
i)REACT 2024チャレンジのガイドライン
(ii)課題で用いられるデータセット
3) 提案した2つのサブチャレンジ上でのベースラインシステムの性能は, オフライン多重顔反応生成とオンライン複数顔反応生成である。
チャレンジベースラインコードはhttps://github.com/reactmultimodalchallenge/baseline_react2024で公開されている。
関連論文リスト
- Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data [104.45155847778584]
本稿では,合成データ時代における第2回顔認識チャレンジの概要について述べる。
FRCSynは、現在の技術的制限に対処するために、顔認識における合成データの使用について調査することを目的としている。
論文 参考訳(メタデータ) (2024-04-16T08:15:10Z) - The GENEA Challenge 2023: A large scale evaluation of gesture generation
models in monadic and dyadic settings [8.527975206444742]
本稿では、参加チームが音声によるジェスチャー生成システムを構築したGENEA Challenge 2023について報告する。
大規模ユーザ研究において,12件の提出と2件のベースラインと,保持型モーションキャプチャーデータを併用して評価した。
課題の提出者間の人間的な関係は広範囲に及んでおり、人間のモキャップに近いシステムもいくつかありました。
論文 参考訳(メタデータ) (2023-08-24T08:42:06Z) - MRecGen: Multimodal Appropriate Reaction Generator [31.60823534748163]
本稿では,最初のマルチモーダル・マルチモーダル(言語的・非言語的)なヒト反応生成フレームワークを提案する。
これは、適切な仮想エージェント/ロボットの振る舞いを生成することによって、様々な人間とコンピュータの相互作用シナリオに適用することができる。
論文 参考訳(メタデータ) (2023-07-05T19:07:00Z) - REACT2023: the first Multi-modal Multiple Appropriate Facial Reaction
Generation Challenge [28.777465429875303]
Multi-modal Multiple Appropriate Facial Reaction Generation Challenge (REACT2023)は、マルチメディア処理と機械学習技術を評価することに焦点を当てた最初のコンペティションイベントである。
この課題の目標は、マルチモーダル情報処理のための最初のベンチマークテストセットを提供することと、オーディオ、視覚、およびオーディオ視覚的コンピュータコミュニティ間のコラボレーションを促進することである。
論文 参考訳(メタデータ) (2023-06-11T04:15:56Z) - Reversible Graph Neural Network-based Reaction Distribution Learning for
Multiple Appropriate Facial Reactions Generation [22.579200870471475]
本稿では,最初の複数顔反応生成フレームワークを提案する。
顔の反応生成問題を1対1のマッピング問題として再定式化する。
実験の結果,提案手法は既存のモデルよりも,より適切で現実的で,同期的な顔反応を生成できることがわかった。
論文 参考訳(メタデータ) (2023-05-24T15:56:26Z) - EM Pre-training for Multi-party Dialogue Response Generation [86.25289241604199]
多人数対話では、応答発話の宛先を生成前に指定する必要がある。
本稿では,アドレナラベルを生成するための期待ステップを反復的に実行する期待最大化(EM)アプローチを提案する。
論文 参考訳(メタデータ) (2023-05-21T09:22:41Z) - The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked
Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。
MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
論文 参考訳(メタデータ) (2023-05-05T08:53:57Z) - Face-to-Face Contrastive Learning for Social Intelligence
Question-Answering [55.90243361923828]
マルチモーダル手法は多くのタスクで技術の状態を設定するが、複雑な対面会話のダイナミクスをモデル化することは困難である。
社会的相互作用をモデル化するグラフニューラルネットワークF2F-CLを提案する。
課題であるSocial-IQデータセットを実験的に評価し、最先端の結果を示す。
論文 参考訳(メタデータ) (2022-07-29T20:39:44Z) - HeterMPC: A Heterogeneous Graph Neural Network for Response Generation
in Multi-Party Conversations [76.64792382097724]
We present HeterMPC, a graph-based neural network for response generation in multi-party conversation (MPCs)。
HeterMPCは、グラフ内の2種類のノードと同時に、発話とインターロケータのセマンティクスをモデル化する。
マルチホップ更新により、HeterMPCは応答生成のための会話の構造的知識を適切に活用することができる。
論文 参考訳(メタデータ) (2022-03-16T09:50:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。