論文の概要: Learning Graph Representation of Person-specific Cognitive Processes
from Audio-visual Behaviours for Automatic Personality Recognition
- arxiv url: http://arxiv.org/abs/2110.13570v1
- Date: Tue, 26 Oct 2021 11:04:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 22:57:18.205030
- Title: Learning Graph Representation of Person-specific Cognitive Processes
from Audio-visual Behaviours for Automatic Personality Recognition
- Title(参考訳): パーソナリティ自動認識のための視聴覚行動からの認知過程の学習グラフ表現
- Authors: Siyang Song, Zilong Shao, Shashank Jaiswal, Linlin Shen, Michel
Valstar and Hatice Gunes
- Abstract要約: 本稿では,対象対象者固有の認知を,個人固有のCNNアーキテクチャの形で表現することを提案する。
各人物固有のCNNは、ニューラルアーキテクチャサーチ(NAS)と新しい適応損失関数によって探索される。
実験の結果,生成したグラフ表現は対象者の性格特性とよく関連していることがわかった。
- 参考スコア(独自算出の注目度): 17.428626029689653
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This approach builds on two following findings in cognitive science: (i)
human cognition partially determines expressed behaviour and is directly linked
to true personality traits; and (ii) in dyadic interactions individuals'
nonverbal behaviours are influenced by their conversational partner behaviours.
In this context, we hypothesise that during a dyadic interaction, a target
subject's facial reactions are driven by two main factors, i.e. their internal
(person-specific) cognitive process, and the externalised nonverbal behaviours
of their conversational partner. Consequently, we propose to represent the
target subjects (defined as the listener) person-specific cognition in the form
of a person-specific CNN architecture that has unique architectural parameters
and depth, which takes audio-visual non-verbal cues displayed by the
conversational partner (defined as the speaker) as input, and is able to
reproduce the target subject's facial reactions. Each person-specific CNN is
explored by the Neural Architecture Search (NAS) and a novel adaptive loss
function, which is then represented as a graph representation for recognising
the target subject's true personality. Experimental results not only show that
the produced graph representations are well associated with target subjects'
personality traits in both human-human and human-machine interaction scenarios,
and outperform the existing approaches with significant advantages, but also
demonstrate that the proposed novel strategies such as adaptive loss, and the
end-to-end vertices/edges feature learning, help the proposed approach in
learning more reliable personality representations.
- Abstract(参考訳): このアプローチは認知科学における2つの発見に基づいている。
一 人間の認知が表現行動の一部を部分的に決定し、真人格の特徴に直接関連していること。
(ii) 対話行動における個人の非言語行動は会話相手の行動に影響される。
この文脈では、ディヤド相互作用の間、対象者の顔面反応は、その内的(人固有の)認知過程と、会話相手の外部化された非言語的行動という2つの主要な要因によって駆動されると仮定する。
そこで本研究では,対話相手(話者)が提示する聴覚的非言語的手がかりを入力とし,対象者の表情反応を再現可能な,ユニークなアーキテクチャパラメータと深さを有する人固有のcnnアーキテクチャを用いて対象対象者(聞き手として定義)の個人別認知を表現することを提案する。
それぞれの人物固有のCNNは、ニューラルネットワーク探索(NAS)と新しい適応損失関数によって探索され、対象者の真の性格を認識するグラフ表現として表現される。
実験の結果, 生成したグラフ表現は, 人間と機械の対話シナリオにおいて対象者の性格特性とよく関連し, 既存のアプローチを著しく上回るだけでなく, 適応損失やエンド・ツー・エンドの頂点・エッジ特徴学習といった新しい手法が, より信頼性の高いパーソナリティ表現を学ぶ上で有効であることが示された。
関連論文リスト
- Enhancing Personality Recognition in Dialogue by Data Augmentation and
Heterogeneous Conversational Graph Networks [30.33718960981521]
パーソナリティ認識は、ユーザ適応応答をカスタマイズするロボットの能力を高めるのに有用である。
この課題の1つは、既存の対話コーパスにおける話者の限られた数である。
論文 参考訳(メタデータ) (2024-01-11T12:27:33Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳(メタデータ) (2023-12-04T08:02:59Z) - Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - Learning Person-specific Network Representation for Apparent Personality
Traits Recognition [3.19935268158731]
本稿では,まず個人固有のネットワークを訓練するパーソナリティ認識手法を提案する。
次に、対象の人格表現として、人称特化ネットワークの重みをグラフ表現にエンコードする。
実験結果から,我々の新しいネットワーク重みに基づくアプローチは,従来の潜在機能ベースアプローチよりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-03-01T06:10:39Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳(メタデータ) (2022-08-10T15:46:05Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳(メタデータ) (2022-07-20T13:37:57Z) - CogIntAc: Modeling the Relationships between Intention, Emotion and
Action in Interactive Process from Cognitive Perspective [15.797390372732973]
個人間相互作用の新たな認知枠組みを提案する。
フレームワークの中核は、個人が内的意図によって駆動される外部行動を通じて相互作用を達成することである。
論文 参考訳(メタデータ) (2022-05-07T03:54:51Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-10T07:10:25Z) - Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion
Recognition [2.1485350418225244]
人間の行動分析のために, 自発的なマルチモーダル感情認識が広く研究されている。
視聴覚感情認識のための深層学習に基づく新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-03-16T15:49:15Z) - What Do We See in Them? Identifying Dimensions of Partner Models for
Speech Interfaces Using a Psycholexical Approach [9.722947423878395]
パートナーモデルと呼ばれるシステム能力とコミュニケーション能力の知覚は、音声インタフェースの相互作用において重要な役割を果たす。
本論文は, 音声エージェントの相互作用において, パートナーモデルを定義する重要な要素を最初に同定するものである。
論文 参考訳(メタデータ) (2021-02-03T14:57:08Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳(メタデータ) (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。