論文の概要: HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with
Cross-person Memory Transformer
- arxiv url: http://arxiv.org/abs/2305.12369v1
- Date: Sun, 21 May 2023 06:43:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 21:04:15.396111
- Title: HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with
Cross-person Memory Transformer
- Title（参考訳）: hiint: 対人記憶変換器を用いた歴史的・内的・対人ダイナミクスモデリング
- Authors: Yubin Kim, Dong Won Lee, Paul Pu Liang, Sharifa Algohwinem, Cynthia
Breazeal, Hae Won Park
- Abstract要約: クロスパーソンメモリトランスフォーマー(CPM-T)フレームワークは、感情力学を明示的にモデル化することができる。
CPM-Tフレームワークはメモリモジュールを維持し、会話ウィンドウ内のコンテキストを保存および更新する。
共同作業,ラップポート,人的信念予測の3つの公開データセットに対して,提案手法の有効性と一般化性を評価する。
- 参考スコア（独自算出の注目度）: 38.92436852096451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately modeling affect dynamics, which refers to the changes and
fluctuations in emotions and affective displays during human conversations, is
crucial for understanding human interactions. By analyzing affect dynamics, we
can gain insights into how people communicate, respond to different situations,
and form relationships. However, modeling affect dynamics is challenging due to
contextual factors, such as the complex and nuanced nature of interpersonal
relationships, the situation, and other factors that influence affective
displays. To address this challenge, we propose a Cross-person Memory
Transformer (CPM-T) framework which is able to explicitly model affective
dynamics (intrapersonal and interpersonal influences) by identifying verbal and
non-verbal cues, and with a large language model to utilize the pre-trained
knowledge and perform verbal reasoning. The CPM-T framework maintains memory
modules to store and update the contexts within the conversation window,
enabling the model to capture dependencies between earlier and later parts of a
conversation. Additionally, our framework employs cross-modal attention to
effectively align information from multi-modalities and leverage cross-person
attention to align behaviors in multi-party interactions. We evaluate the
effectiveness and generalizability of our approach on three publicly available
datasets for joint engagement, rapport, and human beliefs prediction tasks.
Remarkably, the CPM-T framework outperforms baseline models in average
F1-scores by up to 7.3%, 9.3%, and 2.0% respectively. Finally, we demonstrate
the importance of each component in the framework via ablation studies with
respect to multimodal temporal behavior.
- Abstract（参考訳）: 人間の会話における感情の変化や変動、感情表示の正確なモデル化は、人間の相互作用を理解する上で重要である。
影響のダイナミクスを分析することで、人々のコミュニケーション方法、異なる状況への対応、関係形成に関する洞察を得ることができるのです。
しかし,人間関係の複雑かつニュアンス的性質,状況,および情緒的ディスプレイに影響を与える他の要因など,文脈的要因により,モデリングの影響のダイナミクスは困難である。
この課題に対処するために,言語的および非言語的手がかりを特定し,感情的ダイナミクス(対人的および対人的影響)を明示的にモデル化することのできる対人的メモリトランスフォーマー(cpm-t)フレームワークを提案し,事前学習した知識を活用し,言語的推論を行うための大規模言語モデルを提案する。
cpm-tフレームワークは、会話ウィンドウ内のコンテキストを格納および更新するためのメモリモジュールを維持しており、モデルが会話の前後の依存関係をキャプチャできる。
さらに,マルチモーダルからの情報を効果的に整列させ,多人数インタラクションにおける行動の整列に対人的注意を生かした。
共同作業,ラップポート,人間信念予測の3つの公開データセットに対するアプローチの有効性と一般化性を評価する。
CPM-Tフレームワークは平均F1スコアのベースラインモデルを最大7.3%、9.3%、2.0%で上回っている。
最後に,マルチモーダル時間的挙動に関するアブレーション研究を通じて,フレームワークにおける各コンポーネントの重要性を示す。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳（メタデータ） (2024-07-17T08:13:22Z) - Evaluating Robustness of Dialogue Summarization Models in the Presence
of Naturally Occurring Variations [13.749495524988774]
実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。
発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。
細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
論文 参考訳（メタデータ） (2023-11-15T05:11:43Z) - Towards a Unified Transformer-based Framework for Scene Graph Generation
and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。
本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。
提案手法は最先端のHOI法と比較して競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-03T07:25:57Z) - Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
相互作用モデリングの強化を目的とした結合関係変換器を提案する。
提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
論文 参考訳（メタデータ） (2023-08-09T09:02:47Z) - A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face
Settings [1.9544213396776275]
我々は,対面設定における対の参加者間の相互作用のダイナミクスを捉える確率論的モデルを開発した。
この相互作用エンコーディングは、あるエージェントの将来のダイナミクスを予測する際に、生成に影響を与えるために使用される。
我々のモデルは, 相互作用する力学に基づいて, モード間のデライン化に成功していることを示す。
論文 参考訳（メタデータ） (2022-07-10T23:31:27Z) - SMEMO: Social Memory for Trajectory Forecasting [34.542209630734234]
本稿では、外部記憶装置として機能するエンドツーエンドのトレーニング可能なワーキングメモリに基づくニューラルネットワークを提案する。
提案手法は,異なるエージェントの動き間の説明可能な因果関係を学習し,軌跡予測データセットの最先端結果を得ることができることを示す。
論文 参考訳（メタデータ） (2022-03-23T14:40:20Z) - Modeling Intention, Emotion and External World in Dialogue Systems [14.724751780218297]
本稿では,相互関係を協調的にモデル化し,歴史的意図情報を明示的に統合するRelAtion Interaction Network(RAIN)を提案する。
データセットの実験により、我々のモデルは個人間の意図、感情、行動を完全に活用できることが示された。
論文 参考訳（メタデータ） (2022-02-14T04:10:34Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Interactions in information spread: quantification and interpretation
using stochastic block models [3.5450828190071655]
ソーシャルネットワークでは、ユーザーの行動は、対話する人々、フィード内のニュース、トレンドトピックから生じる。
本稿では、エンティティ間のインタラクションの役割を調査する新しいモデル、Interactive Mixed Membership Block Model (IMMSBM)を提案する。
推論タスクでは、それらを考慮すれば、結果の確率の最大150%の非相互作用モデルに対する平均的な相対的な変化につながる。
論文 参考訳（メタデータ） (2020-04-09T14:22:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。