論文の概要: Multilingual Dyadic Interaction Corpus NoXi+J: Toward Understanding Asian-European Non-verbal Cultural Characteristics and their Influences on Engagement
- arxiv url: http://arxiv.org/abs/2409.13726v1
- Date: Mon, 9 Sep 2024 18:37:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 05:35:28.682597
- Title: Multilingual Dyadic Interaction Corpus NoXi+J: Toward Understanding Asian-European Non-verbal Cultural Characteristics and their Influences on Engagement
- Title（参考訳）: 多言語対話コーパスNoXi+J:アジア・ヨーロッパ非言語文化の理解とエンゲージメントへの影響
- Authors: Marius Funk, Shogo Okada, Elisabeth André,
- Abstract要約: 我々は,非言語的特徴の多言語計算分析を行い,その係り受け予測における役割について検討する。
音声アコースティックス,表情,バックチャネル,ジェスチャーなど,多言語的非言語的特徴を抽出した。
5つの言語データセットのエンゲージメントを予測するために訓練されたLSTMモデルの入力特徴における文化的差異の影響を解析した。
- 参考スコア（独自算出の注目度）: 6.984291346424792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-verbal behavior is a central challenge in understanding the dynamics of a conversation and the affective states between interlocutors arising from the interaction. Although psychological research has demonstrated that non-verbal behaviors vary across cultures, limited computational analysis has been conducted to clarify these differences and assess their impact on engagement recognition. To gain a greater understanding of engagement and non-verbal behaviors among a wide range of cultures and language spheres, in this study we conduct a multilingual computational analysis of non-verbal features and investigate their role in engagement and engagement prediction. To achieve this goal, we first expanded the NoXi dataset, which contains interaction data from participants living in France, Germany, and the United Kingdom, by collecting session data of dyadic conversations in Japanese and Chinese, resulting in the enhanced dataset NoXi+J. Next, we extracted multimodal non-verbal features, including speech acoustics, facial expressions, backchanneling and gestures, via various pattern recognition techniques and algorithms. Then, we conducted a statistical analysis of listening behaviors and backchannel patterns to identify culturally dependent and independent features in each language and common features among multiple languages. These features were also correlated with the engagement shown by the interlocutors. Finally, we analyzed the influence of cultural differences in the input features of LSTM models trained to predict engagement for five language datasets. A SHAP analysis combined with transfer learning confirmed a considerable correlation between the importance of input features for a language set and the significant cultural characteristics analyzed.
- Abstract（参考訳）: 非言語的行動は、会話のダイナミクスと相互作用から生じる対話者間の感情状態を理解する上で、中心的な課題である。
心理学的な研究は、非言語行動は文化によって異なることを示したが、これらの違いを明確にし、エンゲージメント認知への影響を評価するために、限定的な計算分析が行われた。
幅広い文化や言語圏におけるエンゲージメントと非言語行動の理解を深めるために,本稿では,非言語的特徴の多言語計算分析を行い,エンゲージメントとエンゲージメント予測におけるそれらの役割について検討する。
この目的を達成するために,我々はまず,フランス,ドイツ,イギリスに住む参加者の対話データを含むNoXiデータセットを拡張した。
次に,様々なパターン認識手法とアルゴリズムを用いて,音声音響,表情,バックチャネル,ジェスチャーを含む多言語非言語的特徴を抽出した。
そして,各言語における文化的・自立的特徴と複数の言語間の共通特徴を識別するために,聴取行動とバックチャネルパターンの統計的解析を行った。
これらの特徴は、インターロケータが示すエンゲージメントと相関していた。
最後に、5つの言語データセットのエンゲージメントを予測するために訓練されたLSTMモデルの入力特徴における文化的差異の影響を分析した。
SHAP分析と転写学習の併用により,言語セットにおける入力特徴の重要性と重要な文化的特徴との間に有意な相関が認められた。
関連論文リスト
- Toward Cultural Interpretability: A Linguistic Anthropological Framework for Describing and Evaluating Large Language Models (LLMs) [13.71024600466761]
本稿では,言語人類学と機械学習(ML)の新たな統合を提案する。
新たな調査分野、文化的解釈可能性(CI)の理論的実現可能性を示す。
CIは、言語と文化の間の動的関係がコンテキストに敏感でオープンな会話を可能にする方法を強調している。
論文 参考訳（メタデータ） (2024-11-07T22:01:50Z) - Investigating Cultural Alignment of Large Language Models [10.738300803676655]
LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。
社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。
本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
論文 参考訳（メタデータ） (2024-02-20T18:47:28Z) - Language-based Valence and Arousal Expressions between the United States and China: a Cross-Cultural Examination [6.122854363918857]
本稿は,Twitter/X(米国)とSina Weibo(中国本土)を比較し,感情表現の文化的差異を考察する。
NRC-VADレキシコンを用いて、両プラットフォームにまたがる感情表現の異なるパターンを同定した。
われわれは、米国ユーザーが中国ユーザーよりも感情的な強さを示すなど、異文化間の大きな差異を明らかにした。
論文 参考訳（メタデータ） (2024-01-10T16:32:25Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳（メタデータ） (2023-10-23T17:42:01Z) - Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。
Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。
我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。
全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳（メタデータ） (2023-05-25T15:30:31Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Text as Causal Mediators: Research Design for Causal Estimates of
Differential Treatment of Social Groups via Language Aspects [7.175621752912443]
本研究では,社会集団信号の自然的直接的・間接的影響が話者の反応に与える影響を推定するために,観察的(実験的でない)データに対する因果的研究設計を提案する。
本稿では、この枠組みの約束と課題について、アメリカ合衆国最高裁判所の口頭弁論における司法の中断に対する擁護者の性別の影響に関する理論的ケーススタディを通して説明する。
論文 参考訳（メタデータ） (2021-09-15T19:15:35Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳（メタデータ） (2021-09-13T21:05:37Z) - Deception detection in text and its relation to the cultural dimension
of individualism/collectivism [6.17866386107486]
本研究は,文化における特定の言語的特徴の活用の相違が,個性主義/選択主義の分断に関して,規範に起因しているかどうかを考察する。
我々は、音韻学、形態学、構文に基づく幅広いn-gram特徴を実験することにより、カルチャー/言語対応分類器を作成する。
我々は6カ国(米国、ベルギー、インド、ロシア、メキシコ、ルーマニア)の5言語(英語、オランダ、ロシア、スペイン、ルーマニア)から11のデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2021-05-26T13:09:47Z) - Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset
for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。
参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。
データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文 参考訳（メタデータ） (2020-08-31T17:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。