論文の概要: Relationship between auditory and semantic entrainment using Deep Neural Networks (DNN)

• arxiv url: http://arxiv.org/abs/2312.16599v1
• Date: Wed, 27 Dec 2023 14:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 18:36:48.241102
• Title: Relationship between auditory and semantic entrainment using Deep Neural Networks (DNN)
• Title（参考訳）: Deep Neural Networks (DNN) を用いた聴覚と意味訓練の関係
• Authors: Jay Kejriwal, \v{S}tefan Be\v{n}u\v{s}
• Abstract要約: 本研究では、BERTやTRILL(TRILL)ベクターのような最先端の埋め込みを利用して、対話中のターンの意味的および聴覚的類似性を測定する特徴を抽出した。 聴覚機能と比較して意味的特徴を訓練する傾向が見られた。 本研究の成果は,ヒトと機械の相互作用(HMI)におけるエントレインメントのメカニズムの実装に役立つかもしれない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The tendency of people to engage in similar, matching, or synchronized behaviour when interacting is known as entrainment. Many studies examined linguistic (syntactic and lexical structures) and paralinguistic (pitch, intensity) entrainment, but less attention was given to finding the relationship between them. In this study, we utilized state-of-the-art DNN embeddings such as BERT and TRIpLet Loss network (TRILL) vectors to extract features for measuring semantic and auditory similarities of turns within dialogues in two comparable spoken corpora of two different languages. We found people's tendency to entrain on semantic features more when compared to auditory features. Additionally, we found that entrainment in semantic and auditory linguistic features are positively correlated. The findings of this study might assist in implementing the mechanism of entrainment in human-machine interaction (HMI).
• Abstract（参考訳）: 相互作用する際に類似した行動、一致、同期を行う傾向は、エントレーメント(entrainment)として知られている。 多くの研究は言語(音韻構造と語彙構造)とパラ言語(ピッチ、強度)のエントレメントを検討したが、それらの関係を見出すには注意が払わなかった。 本研究では,BERT や TRILL (TRILL) ベクターのような最先端の DNN 埋め込みを用いて,2言語に比較して音声コーパスの対話におけるターンの意味的・聴覚的類似性を測定する。 聴覚的特徴と比較して意味的特徴をより訓練する傾向がみられた。 さらに,意味的・聴覚的言語的特徴のエントレメントは正の相関関係にあることがわかった。 本研究の成果は,ヒトと機械の相互作用(HMI)における運動のメカニズムの実装に有効である。

関連論文リスト

• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition [54.952250732643115]
  連続表現から派生した長さの固定長特徴である音響単語埋め込み(AWE)について検討し,その利点について検討した。 AWEは以前、音響的識別可能性の把握に有用であることを示した。 以上の結果から,AWEが伝達する音響的文脈が明らかになり,高い競争力を持つ音声認識精度が示された。
  論文  参考訳（メタデータ） (2024-02-04T21:24:54Z)
• Unsupervised Auditory and Semantic Entrainment Models with Deep Neural Networks [0.3222802562733786]
  本稿では,意味学習を開発するためのテキストの特徴から意味のある表現を導出する,教師なしのディープラーニングフレームワークを提案する。 その結果,本モデルでは,HHとHMの相互作用を区別し,音響特性を抽出するための2つの分析単位が同等な結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-12-22T22:33:54Z)
• Decoding Emotional Experiences in Dyadic Conversations of Married Couples: Leveraging Semantic Similarity through Sentence Embedding [41.94295877935867]
  本研究は,10分間の会話と10分間の肯定的な会話を交互に行う50人の夫婦の会話を分析した。 変換器ベースモデルであるGeneral Text Embeddings-Large を用いて各話者からの発話の埋め込みを求める。 その結果、類似度が低いことは、ポジティブな(しかし対立しない)会話においてよりポジティブな感情経験と関連していることが示された。
  論文  参考訳（メタデータ） (2023-09-22T06:37:45Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• A Neural Network-Based Linguistic Similarity Measure for Entrainment in Conversations [12.052672647509732]
  言語訓練は、人々が会話でお互いを模倣する傾向がある現象である。 現在の類似度尺度のほとんどは、back-of-wordsアプローチに基づいている。 本稿では,ニューラルネットワークモデルを用いて,運動の類似度を測定することを提案する。
  論文  参考訳（メタデータ） (2021-09-04T19:48:17Z)
• Decoupling entrainment from consistency using deep neural networks [14.823143667165382]
  一貫性の効果、すなわち個々のスタイルに固執する話者を孤立させることは、訓練の分析において重要な部分である。 そこで本研究では,話者の発声特徴を,その後の出力予測のコンファウンドとして扱うことを提案する。 既存の2つのニューラルアプローチを用いて、一貫性を制御するエントレインメントの新しい尺度を定義した。
  論文  参考訳（メタデータ） (2020-11-03T17:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。