論文の概要: A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face
Settings
- arxiv url: http://arxiv.org/abs/2207.04566v1
- Date: Sun, 10 Jul 2022 23:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 03:17:25.499868
- Title: A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face
Settings
- Title（参考訳）: dyadic face-to-face 設定におけるインタラクションダイナミクスの確率論的モデル
- Authors: Renke Wang and Ifeoma Nwogu
- Abstract要約: 我々は,対面設定における対の参加者間の相互作用のダイナミクスを捉える確率論的モデルを開発した。
この相互作用エンコーディングは、あるエージェントの将来のダイナミクスを予測する際に、生成に影響を与えるために使用される。
我々のモデルは, 相互作用する力学に基づいて, モード間のデライン化に成功していることを示す。
- 参考スコア（独自算出の注目度）: 1.9544213396776275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural conversations between humans often involve a large number of
non-verbal nuanced expressions, displayed at key times throughout the
conversation. Understanding and being able to model these complex interactions
is essential for creating realistic human-agent communication, whether in the
virtual or physical world. As social robots and intelligent avatars emerge in
popularity and utility, being able to realistically model and generate these
dynamic expressions throughout conversations is critical. We develop a
probabilistic model to capture the interaction dynamics between pairs of
participants in a face-to-face setting, allowing for the encoding of
synchronous expressions between the interlocutors. This interaction encoding is
then used to influence the generation when predicting one agent's future
dynamics, conditioned on the other's current dynamics. FLAME features are
extracted from videos containing natural conversations between subjects to
train our interaction model. We successfully assess the efficacy of our
proposed model via quantitative metrics and qualitative metrics, and show that
it successfully captures the dynamics of a pair of interacting dyads. We also
test the model with a never-before-seen parent-infant dataset comprising of two
different modes of communication between the dyads, and show that our model
successfully delineates between the modes, based on their interacting dynamics.
- Abstract（参考訳）: 人間同士の自然な会話は、会話を通じて重要な時間に現れる多くの非言語的なニュアンス表現を伴う。
これらの複雑な相互作用の理解とモデル化は、仮想世界であれ物理的な世界であれ、現実的な人間とエージェントのコミュニケーションを作るのに不可欠である。
社会ロボットやインテリジェントなアバターが人気と実用性で出現するにつれて、会話を通してこれらのダイナミックな表現を現実的にモデル化し、生成できることが不可欠である。
我々は,対面設定における対の参加者間の相互作用のダイナミクスを捉える確率論的モデルを構築し,両者の同期表現の符号化を可能にする。
この相互作用エンコーディングは、一方のエージェントの将来のダイナミクスを予測するとき、他方の現在のダイナミクスに基づいて、生成に影響を与えるために使用される。
FLAMEの特徴は、対話モデルを訓練するための被験者間の自然な会話を含むビデオから抽出される。
定量的指標と質的指標を用いて,提案モデルの有効性を評価し,相互作用するdyadのダイナミクスを捉えることに成功した。
また,dyad間の通信モードの異なる2つの異なる2つのモードからなる,それまでは存在しなかったペアレント-インファントデータセットを用いてモデルをテストする。
関連論文リスト
- PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳（メタデータ） (2024-07-17T08:13:22Z) - Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。
私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。
実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
論文 参考訳（メタデータ） (2024-03-14T03:21:33Z) - From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。
ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。
実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
論文 参考訳（メタデータ） (2024-01-03T18:55:16Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳（メタデータ） (2023-07-24T12:21:33Z) - HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with
Cross-person Memory Transformer [38.92436852096451]
クロスパーソンメモリトランスフォーマー(CPM-T)フレームワークは、感情力学を明示的にモデル化することができる。
CPM-Tフレームワークはメモリモジュールを維持し、会話ウィンドウ内のコンテキストを保存および更新する。
共同作業,ラップポート,人的信念予測の3つの公開データセットに対して,提案手法の有効性と一般化性を評価する。
論文 参考訳（メタデータ） (2023-05-21T06:43:35Z) - Improving a sequence-to-sequence nlp model using a reinforcement
learning policy algorithm [0.0]
対話生成の現在のニューラルネットワークモデルは、おしゃべりエージェントの回答を生成する上で非常に有望である。
しかし、彼らは発話を1度ずつ予測し、将来の結果に対する彼らの影響を無視している。
本研究は,対話の長期的成功に基づくニューラルな会話モデル構築に向けた予備的なステップを記念するものである。
論文 参考訳（メタデータ） (2022-12-28T22:46:57Z) - Learning Interacting Dynamical Systems with Latent Gaussian Process ODEs [13.436770170612295]
本研究では,対話対象の連続時間力学の不確実性を考慮したモデリングを初めて行った。
我々のモデルは、独立力学と信頼性のある不確実性推定との相互作用の両方を推測する。
論文 参考訳（メタデータ） (2022-05-24T08:36:25Z) - Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。
我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。
本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文 参考訳（メタデータ） (2022-04-18T17:58:04Z) - VIRT: Improving Representation-based Models for Text Matching through
Virtual Interaction [50.986371459817256]
本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。
VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
論文 参考訳（メタデータ） (2021-12-08T09:49:28Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Interactions in information spread: quantification and interpretation
using stochastic block models [3.5450828190071655]
ソーシャルネットワークでは、ユーザーの行動は、対話する人々、フィード内のニュース、トレンドトピックから生じる。
本稿では、エンティティ間のインタラクションの役割を調査する新しいモデル、Interactive Mixed Membership Block Model (IMMSBM)を提案する。
推論タスクでは、それらを考慮すれば、結果の確率の最大150%の非相互作用モデルに対する平均的な相対的な変化につながる。
論文 参考訳（メタデータ） (2020-04-09T14:22:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。