論文の概要: MRecGen: Multimodal Appropriate Reaction Generator

• arxiv url: http://arxiv.org/abs/2307.02609v1
• Date: Wed, 5 Jul 2023 19:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 16:12:36.787429
• Title: MRecGen: Multimodal Appropriate Reaction Generator
• Title（参考訳）: MRecGen:マルチモーダル適切な反応発生装置
• Authors: Jiaqi Xu, Cheng Luo, Weicheng Xie, Linlin Shen, Xiaofeng Liu, Lu Liu, Hatice Gunes, Siyang Song
• Abstract要約: 本稿では,最初のマルチモーダル・マルチモーダル(言語的・非言語的)なヒト反応生成フレームワークを提案する。 これは、適切な仮想エージェント/ロボットの振る舞いを生成することによって、様々な人間とコンピュータの相互作用シナリオに適用することができる。
• 参考スコア（独自算出の注目度）: 31.60823534748163
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Verbal and non-verbal human reaction generation is a challenging task, as different reactions could be appropriate for responding to the same behaviour. This paper proposes the first multiple and multimodal (verbal and nonverbal) appropriate human reaction generation framework that can generate appropriate and realistic human-style reactions (displayed in the form of synchronised text, audio and video streams) in response to an input user behaviour. This novel technique can be applied to various human-computer interaction scenarios by generating appropriate virtual agent/robot behaviours. Our demo is available at \url{https://github.com/SSYSteve/MRecGen}.
• Abstract（参考訳）: 言語的および非言語的人間の反応生成は、同じ行動に反応するのに異なる反応が適しているため、困難なタスクである。 本稿では、入力されたユーザの行動に応じて、適切かつ現実的なヒューマンスタイルの反応(同期テキスト、オーディオ、ビデオストリーム形式で表示)を生成できる、最初の多重およびマルチモーダル(言語的および非言語的)な人間反応生成フレームワークを提案する。 この手法は、適切な仮想エージェント/ロボット動作を生成することにより、様々な人間とコンピュータの相互作用シナリオに適用することができる。 デモは \url{https://github.com/ssysteve/mrecgen}で公開しています。

関連論文リスト

• EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning [10.266351600604612]
  本稿では,ヒューマノイドロボットにおける表現型動き列を生成するためのEMOTIONというフレームワークを提案する。 本研究では,EMOTIONが生成する動作の自然性と理解性を比較したオンラインユーザ研究を行い,その人間フィードバックバージョンであるEMOTION++について述べる。
  論文  参考訳（メタデータ） (2024-10-30T17:22:45Z)
• ReGenNet: Towards Human Action-Reaction Synthesis [87.57721371471536]
  我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。 本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T15:33:06Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• ReactFace: Online Multiple Appropriate Facial Reaction Generation in Dyadic Interactions [46.66378299720377]
  ダイアドインタラクションでは、聴取者の顔反応を予測することは困難であり、同じ話者の振る舞いに応じて異なる反応が適している可能性がある。 本稿では,外挿や予測問題としてタスクを再構築し,複数の異なる顔反応を生成する新しいフレームワーク(ReactFace)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T05:55:53Z)
• Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation [22.579200870471475]
  本稿では,最初の複数顔反応生成フレームワークを提案する。 顔の反応生成問題を1対1のマッピング問題として再定式化する。 実験の結果,提案手法は既存のモデルよりも,より適切で現実的で,同期的な顔反応を生成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T15:56:26Z)
• Multiple Appropriate Facial Reaction Generation in Dyadic Interaction Settings: What, Why and How? [11.130984858239412]
  本稿では,本論文で初めて,多目的反応生成タスクを定義した。 次に、生成した反応の妥当性を評価するために、新しい客観的評価指標を提案する。 その後、複数の適切な顔反応を予測、生成、評価するための枠組みを紹介した。
  論文  参考訳（メタデータ） (2023-02-13T16:49:27Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。