論文の概要: MRecGen: Multimodal Appropriate Reaction Generator
- arxiv url: http://arxiv.org/abs/2307.02609v1
- Date: Wed, 5 Jul 2023 19:07:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 16:12:36.787429
- Title: MRecGen: Multimodal Appropriate Reaction Generator
- Title(参考訳): MRecGen:マルチモーダル適切な反応発生装置
- Authors: Jiaqi Xu, Cheng Luo, Weicheng Xie, Linlin Shen, Xiaofeng Liu, Lu Liu,
Hatice Gunes, Siyang Song
- Abstract要約: 本稿では,最初のマルチモーダル・マルチモーダル(言語的・非言語的)なヒト反応生成フレームワークを提案する。
これは、適切な仮想エージェント/ロボットの振る舞いを生成することによって、様々な人間とコンピュータの相互作用シナリオに適用することができる。
- 参考スコア(独自算出の注目度): 31.60823534748163
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Verbal and non-verbal human reaction generation is a challenging task, as
different reactions could be appropriate for responding to the same behaviour.
This paper proposes the first multiple and multimodal (verbal and nonverbal)
appropriate human reaction generation framework that can generate appropriate
and realistic human-style reactions (displayed in the form of synchronised
text, audio and video streams) in response to an input user behaviour. This
novel technique can be applied to various human-computer interaction scenarios
by generating appropriate virtual agent/robot behaviours. Our demo is available
at \url{https://github.com/SSYSteve/MRecGen}.
- Abstract(参考訳): 言語的および非言語的人間の反応生成は、同じ行動に反応するのに異なる反応が適しているため、困難なタスクである。
本稿では、入力されたユーザの行動に応じて、適切かつ現実的なヒューマンスタイルの反応(同期テキスト、オーディオ、ビデオストリーム形式で表示)を生成できる、最初の多重およびマルチモーダル(言語的および非言語的)な人間反応生成フレームワークを提案する。
この手法は、適切な仮想エージェント/ロボット動作を生成することにより、様々な人間とコンピュータの相互作用シナリオに適用することができる。
デモは \url{https://github.com/ssysteve/mrecgen}で公開しています。
関連論文リスト
- ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - ReactFace: Multiple Appropriate Facial Reaction Generation in Dyadic
Interactions [29.882412173055172]
ダイアドインタラクションでは、同じ話者の行動に反応する異なる反応が適切である可能性があるため、リスナーの表情反応を予測することは困難である。
本稿では,話者の行動から適切な顔反応分布を学習するReactFaceという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-25T05:55:53Z) - Reversible Graph Neural Network-based Reaction Distribution Learning for
Multiple Appropriate Facial Reactions Generation [22.579200870471475]
本稿では,最初の複数顔反応生成フレームワークを提案する。
顔の反応生成問題を1対1のマッピング問題として再定式化する。
実験の結果,提案手法は既存のモデルよりも,より適切で現実的で,同期的な顔反応を生成できることがわかった。
論文 参考訳(メタデータ) (2023-05-24T15:56:26Z) - Multiple Appropriate Facial Reaction Generation in Dyadic Interaction
Settings: What, Why and How? [11.130984858239412]
本稿では,本論文で初めて,多目的反応生成タスクを定義した。
次に、生成した反応の妥当性を評価するために、新しい客観的評価指標を提案する。
その後、複数の適切な顔反応を予測、生成、評価するための枠組みを紹介した。
論文 参考訳(メタデータ) (2023-02-13T16:49:27Z) - TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
テキスト記述から多種多様な人間の動作を生成するという課題に対処する。
本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。
TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
論文 参考訳(メタデータ) (2022-04-25T14:53:06Z) - Synthesis and Execution of Communicative Robotic Movements with
Generative Adversarial Networks [59.098560311521034]
我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。
我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。
我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
論文 参考訳(メタデータ) (2022-03-29T15:03:05Z) - Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。
音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
論文 参考訳(メタデータ) (2021-12-27T07:18:50Z) - GAN-based Reactive Motion Synthesis with Class-aware Discriminators for
Human-human Interaction [14.023527193608144]
本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。
合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
論文 参考訳(メタデータ) (2021-10-01T13:13:07Z) - Multi-Task Learning of Generation and Classification for Emotion-Aware
Dialogue Response Generation [9.398596037077152]
本稿では,感情に着目したマルチタスク学習を用いたニューラル応答生成モデルを提案する。
我々のモデルは、事前訓練されたトランスフォーマーエンコーダデコーダモデルであるBARTに基づいて、応答を生成し、同時に感情を認識するよう訓練されている。
論文 参考訳(メタデータ) (2021-05-25T06:41:20Z) - Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
語彙のエンドツーエンド分類に代わる方法を提案する。
潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。
人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
論文 参考訳(メタデータ) (2020-10-04T19:06:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。