論文の概要: REACT2023: the first Multi-modal Multiple Appropriate Facial Reaction Generation Challenge

• arxiv url: http://arxiv.org/abs/2306.06583v1
• Date: Sun, 11 Jun 2023 04:15:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 17:55:07.044133
• Title: REACT2023: the first Multi-modal Multiple Appropriate Facial Reaction Generation Challenge
• Title（参考訳）: react2023: 初のマルチモーダル多重適切な顔反応生成チャレンジ
• Authors: Siyang Song, Micol Spitale, Cheng Luo, German Barquero, Cristina Palmero, Sergio Escalera, Michel Valstar, Tobias Baur, Fabien Ringeval, Elisabeth Andre and Hatice Gunes
• Abstract要約: Multi-modal Multiple Appropriate Facial Reaction Generation Challenge (REACT2023)は、マルチメディア処理と機械学習技術を評価することに焦点を当てた最初のコンペティションイベントである。 この課題の目標は、マルチモーダル情報処理のための最初のベンチマークテストセットを提供することと、オーディオ、視覚、およびオーディオ視覚的コンピュータコミュニティ間のコラボレーションを促進することである。
• 参考スコア（独自算出の注目度）: 28.777465429875303
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The Multi-modal Multiple Appropriate Facial Reaction Generation Challenge (REACT2023) is the first competition event focused on evaluating multimedia processing and machine learning techniques for generating human-appropriate facial reactions in various dyadic interaction scenarios, with all participants competing strictly under the same conditions. The goal of the challenge is to provide the first benchmark test set for multi-modal information processing and to foster collaboration among the audio, visual, and audio-visual affective computing communities, to compare the relative merits of the approaches to automatic appropriate facial reaction generation under different spontaneous dyadic interaction conditions. This paper presents: (i) novelties, contributions and guidelines of the REACT2023 challenge; (ii) the dataset utilized in the challenge; and (iii) the performance of baseline systems on the two proposed sub-challenges: Offline Multiple Appropriate Facial Reaction Generation and Online Multiple Appropriate Facial Reaction Generation, respectively. The challenge baseline code is publicly available at \url{https://github.com/reactmultimodalchallenge/baseline_react2023}.
• Abstract（参考訳）: multi-modal multiple appropriate facial reaction generation challenge (react2023) はマルチメディア処理と機械学習技術の評価に焦点を当てた最初のコンペティションイベントである。 この課題の目的は、マルチモーダル情報処理のための最初のベンチマークテストセットを提供することと、音声、視覚、視覚の情動コンピューティングコミュニティ間のコラボレーションを促進することであり、異なる自発的なdyadic相互作用条件下での適切な顔反応生成に対するアプローチの相対的なメリットを比較することである。 本稿では, (i)REACT2023チャレンジの新規性、貢献及びガイドライン (ii)課題で用いられるデータセット 3) 提案した2つのサブチャレンジのベースラインシステムの性能は, それぞれオフライン多重顔反応生成とオンライン複数顔反応生成である。 チャレンジベースラインコードは \url{https://github.com/reactmultimodalchallenge/baseline_react2023} で公開されている。

関連論文リスト

• Second Edition FRCSyn Challenge at CVPR 2024: Face Recognition Challenge in the Era of Synthetic Data [104.45155847778584]
  本稿では,合成データ時代における第2回顔認識チャレンジの概要について述べる。 FRCSynは、現在の技術的制限に対処するために、顔認識における合成データの使用について調査することを目的としている。
  論文  参考訳（メタデータ） (2024-04-16T08:15:10Z)
• REACT 2024: the Second Multiple Appropriate Facial Reaction Generation Challenge [36.84914349494818]
  ダイアド的相互作用において、人間は言語的および非言語的手がかりを用いて意図と心の状態を伝える。 複数の適切な、多様性があり、現実的で、同期された人間の顔反応を自動的に生成できる機械学習(ML)モデルの開発は、難しい作業です。 本稿では、REACT 2024チャレンジのガイドラインと、その課題に利用されるデータセットについて述べる。
  論文  参考訳（メタデータ） (2024-01-10T14:01:51Z)
• ReactFace: Online Multiple Appropriate Facial Reaction Generation in Dyadic Interactions [46.66378299720377]
  ダイアドインタラクションでは、聴取者の顔反応を予測することは困難であり、同じ話者の振る舞いに応じて異なる反応が適している可能性がある。 本稿では,外挿や予測問題としてタスクを再構築し,複数の異なる顔反応を生成する新しいフレームワーク(ReactFace)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T05:55:53Z)
• Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation [22.579200870471475]
  本稿では,最初の複数顔反応生成フレームワークを提案する。 顔の反応生成問題を1対1のマッピング問題として再定式化する。 実験の結果,提案手法は既存のモデルよりも,より適切で現実的で,同期的な顔反応を生成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T15:56:26Z)
• Modeling Complex Event Scenarios via Simple Entity-focused Questions [58.16787028844743]
  複雑なシナリオにおけるイベントを参加者に関する質問に対する回答としてモデル化する質問誘導生成フレームワークを提案する。 生成プロセスの任意のステップでは、フレームワークは以前に生成されたイベントをコンテキストとして使用するが、3つの質問の1つに対する回答として次のイベントを生成する。 私たちの経験的評価は、この質問誘導世代が、参加者のより優れたカバレッジ、ドメイン内の多様なイベント、イベントシーケンスのモデリングにおける同等の難易度を提供することを示している。
  論文  参考訳（メタデータ） (2023-02-14T15:48:56Z)
• Face-to-Face Contrastive Learning for Social Intelligence Question-Answering [55.90243361923828]
  マルチモーダル手法は多くのタスクで技術の状態を設定するが、複雑な対面会話のダイナミクスをモデル化することは困難である。 社会的相互作用をモデル化するグラフニューラルネットワークF2F-CLを提案する。 課題であるSocial-IQデータセットを実験的に評価し、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-07-29T20:39:44Z)
• HeterMPC: A Heterogeneous Graph Neural Network for Response Generation in Multi-Party Conversations [76.64792382097724]
  We present HeterMPC, a graph-based neural network for response generation in multi-party conversation (MPCs)。 HeterMPCは、グラフ内の2種類のノードと同時に、発話とインターロケータのセマンティクスをモデル化する。 マルチホップ更新により、HeterMPCは応答生成のための会話の構造的知識を適切に活用することができる。
  論文  参考訳（メタデータ） (2022-03-16T09:50:32Z)
• HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment [63.333407973913374]
  フェース・リノベーション(FR)は意味誘導型生成問題である。 HiFaceGANは、複数のネストされたCSRユニットを含む多段階フレームワークである。 合成画像と実顔画像の両方の実験により,HiFaceGANの優れた性能が確認された。
  論文  参考訳（メタデータ） (2020-05-11T11:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。