論文の概要: AMII: Adaptive Multimodal Inter-personal and Intra-personal Model for Adapted Behavior Synthesis

• arxiv url: http://arxiv.org/abs/2305.11310v1
• Date: Thu, 18 May 2023 21:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 17:20:34.165055
• Title: AMII: Adaptive Multimodal Inter-personal and Intra-personal Model for Adapted Behavior Synthesis
• Title（参考訳）: AMII:適応行動合成のための適応的マルチモーダル対人・対人モデル
• Authors: Jieyeon Woo, Mireille Fares, Catherine Pelachaud, Catherine Achard
• Abstract要約: ソーシャル・インタラクティブ・エージェント(Socially Interactive Agents, SIAs)は、人間のマルチモーダル行動と同様の振る舞いを示す物理的または仮想的なエンボディエージェントである。 ユーザと対話し、話者やリスナーとして行動しながら、SIAに対して適応的な顔ジェスチャーを合成する新しいアプローチであるAMIIを提案する。
• 参考スコア（独自算出の注目度）: 6.021787236982659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Socially Interactive Agents (SIAs) are physical or virtual embodied agents that display similar behavior as human multimodal behavior. Modeling SIAs' non-verbal behavior, such as speech and facial gestures, has always been a challenging task, given that a SIA can take the role of a speaker or a listener. A SIA must emit appropriate behavior adapted to its own speech, its previous behaviors (intra-personal), and the User's behaviors (inter-personal) for both roles. We propose AMII, a novel approach to synthesize adaptive facial gestures for SIAs while interacting with Users and acting interchangeably as a speaker or as a listener. AMII is characterized by modality memory encoding schema - where modality corresponds to either speech or facial gestures - and makes use of attention mechanisms to capture the intra-personal and inter-personal relationships. We validate our approach by conducting objective evaluations and comparing it with the state-of-the-art approaches.
• Abstract（参考訳）: ソーシャル・インタラクティブ・エージェント(Socially Interactive Agents, SIAs)は、人間のマルチモーダル行動と同様の振る舞いを示す物理的または仮想的なエンボディエージェントである。 siaが話者や聞き手の役割を担うことができるため、話し言葉や顔のジェスチャーなど、シアスの非言語的行動のモデル化は、常に困難な課題であった。 SIAは、自身の発言に適合した適切な行動、以前の行動(対人的)、および両方の役割に対するユーザの行動(対人的)を発行しなければならない。 本研究では、ユーザと対話しながら、話者やリスナーとして交互に行動しながら、SIAに対して適応的な顔ジェスチャーを合成する新しいアプローチAMIIを提案する。 AMIIの特徴は、モダリティが音声または顔のジェスチャーに対応し、対人関係と対人関係を捉えるために注意機構を利用する、モダリティメモリ符号化スキーマである。 客観的な評価を行い,最先端のアプローチと比較することで,我々のアプローチを検証する。

関連論文リスト

• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Nonverbal Interaction Detection [83.40522919429337]
  この研究は、社会的文脈における人間の非言語的相互作用を理解するという新たな課題に対処する。 我々はNVIと呼ばれる新しい大規模データセットを寄贈し、人間とそれに対応する社会グループのための境界ボックスを含むように細心の注意を払ってアノテートする。 第2に,非言語的インタラクション検出のための新たなタスクNVI-DETを構築し,画像から三つ子を識別する。 第3に,非言語相互作用検出ハイパーグラフ (NVI-DEHR) を提案する。
  論文  参考訳（メタデータ） (2024-07-11T02:14:06Z)
• Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
  ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。 私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。 実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-14T03:21:33Z)
• AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in Group Conversations [39.79734528362605]
  マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。 AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
  論文  参考訳（メタデータ） (2024-01-26T19:17:05Z)
• Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences [53.353022588751585]
  本稿では,ロボットエージェントの多種多様な嗜好に対する効率的なパーソナライズを促進する新しいフレームワークであるPromptable Behaviorsを紹介する。 我々は、異なるタイプの相互作用を活用することによって、人間の嗜好を推測する3つの異なる方法を紹介した。 本稿では,ProcTHOR と Robothor のナビゲーションタスクをパーソナライズしたオブジェクトゴールナビゲーションおよびエスケープナビゲーションタスクにおいて,提案手法の評価を行う。
  論文  参考訳（メタデータ） (2023-12-14T21:00:56Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Emotion-Oriented Behavior Model Using Deep Learning [0.9176056742068812]
  感情に基づく行動予測の精度は2尾のピアソン相関を用いて統計的に検証される。 本研究は,感情指向行動に基づく多面的人工エージェントインタラクションの基盤となる。
  論文  参考訳（メタデータ） (2023-10-28T17:27:59Z)
• Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction [58.67761673662716]
  人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-07-24T12:21:33Z)
• A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face Settings [1.9544213396776275]
  我々は,対面設定における対の参加者間の相互作用のダイナミクスを捉える確率論的モデルを開発した。 この相互作用エンコーディングは、あるエージェントの将来のダイナミクスを予測する際に、生成に影響を与えるために使用される。 我々のモデルは, 相互作用する力学に基づいて, モード間のデライン化に成功していることを示す。
  論文  参考訳（メタデータ） (2022-07-10T23:31:27Z)
• Learning Graph Representation of Person-specific Cognitive Processes from Audio-visual Behaviours for Automatic Personality Recognition [17.428626029689653]
  本稿では,対象対象者固有の認知を,個人固有のCNNアーキテクチャの形で表現することを提案する。 各人物固有のCNNは、ニューラルアーキテクチャサーチ(NAS)と新しい適応損失関数によって探索される。 実験の結果,生成したグラフ表現は対象者の性格特性とよく関連していることがわかった。
  論文  参考訳（メタデータ） (2021-10-26T11:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。