論文の概要: Distinct social-linguistic processing between humans and large audio-language models: Evidence from model-brain alignment

• arxiv url: http://arxiv.org/abs/2503.19586v1
• Date: Tue, 25 Mar 2025 12:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:54:39.704535
• Title: Distinct social-linguistic processing between humans and large audio-language models: Evidence from model-brain alignment
• Title（参考訳）: ヒトと大音量の音声モデル間の社会的言語処理:モデル脳アライメントによる証拠
• Authors: Hanlin Wu, Xufeng Duan, Zhenguang Cai,
• Abstract要約: 本研究では,音声認識モデル(LALM)とヒトの音声理解における話者特性について比較した。 LALM(Qwen2-AudioとUltravox 0.5)処理パターンをヒト脳波応答と比較した。
• 参考スコア（独自算出の注目度）: 0.846600473226587
• License:
• Abstract: Voice-based AI development faces unique challenges in processing both linguistic and paralinguistic information. This study compares how large audio-language models (LALMs) and humans integrate speaker characteristics during speech comprehension, asking whether LALMs process speaker-contextualized language in ways that parallel human cognitive mechanisms. We compared two LALMs' (Qwen2-Audio and Ultravox 0.5) processing patterns with human EEG responses. Using surprisal and entropy metrics from the models, we analyzed their sensitivity to speaker-content incongruency across social stereotype violations (e.g., a man claiming to regularly get manicures) and biological knowledge violations (e.g., a man claiming to be pregnant). Results revealed that Qwen2-Audio exhibited increased surprisal for speaker-incongruent content and its surprisal values significantly predicted human N400 responses, while Ultravox 0.5 showed limited sensitivity to speaker characteristics. Importantly, neither model replicated the human-like processing distinction between social violations (eliciting N400 effects) and biological violations (eliciting P600 effects). These findings reveal both the potential and limitations of current LALMs in processing speaker-contextualized language, and suggest differences in social-linguistic processing mechanisms between humans and LALMs.
• Abstract（参考訳）: 音声ベースのAI開発は、言語情報とパラ言語情報の両方を処理する上で、ユニークな課題に直面している。 本研究では,LALMが発話理解において,音声言語モデル (LALM) と人間がどのように話者特性を統合しているかを比較検討し,人間の認知機構を並列的に処理するかを問う。 LALM(Qwen2-AudioとUltravox 0.5)処理パターンをヒト脳波応答と比較した。 モデルから得られた主観的およびエントロピー的指標を用いて、社会的ステレオタイプ違反(例:定期的にマニキュアを受けると主張する男性)と生物学的知識違反(例:妊娠していると主張する男性)にまたがる話者内容の不一致に対する感度を分析した。 結果,Qwen2-Audioでは話者不一致内容の予備値が増加し,その副次値はヒトN400応答を有意に予測し,Ultravox 0.5では話者特性に対する感度が制限された。 重要なことに、どちらのモデルも、社会的違反(N400効果)と生物学的違反(P600効果)の人間的な処理区別を再現しなかった。 これらの結果から、話者文脈言語処理における現在のLALMの可能性と限界が明らかとなり、人間とLALMの社会言語処理機構の違いが示唆された。

関連論文リスト

• Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
  本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。 このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。 生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T22:47:51Z)
• Cross-lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models [16.0617753653454]
  本研究では,人間のパフォーマンスとSSLモデルの比較分析を行った。 また、モデルと人間のSER能力を発話レベルとセグメントレベルの両方で比較する。 その結果,適切な知識伝達を行うモデルでは,対象言語に適応し,ネイティブ話者に匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-09-25T13:27:17Z)
• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Human-like Linguistic Biases in Neural Speech Models: Phonetic Categorization and Phonotactic Constraints in Wav2Vec2.0 [0.11510009152620666]
  We study how how Wav2Vec2solvs phonotactic constraints。 我々は/l/と/r/の音響連続体に音を合成し、制御された文脈に埋め込む。 人間と同様に、Wav2Vec2モデルは、このようなあいまいな音を処理する際に、音素的に許容できるカテゴリーに対してバイアスを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:04:31Z)
• Perception of Phonological Assimilation by Neural Speech Recognition Models [3.4173734484549625]
  本稿では、ニューラルネットワーク認識モデルであるWav2Vec2が、同化音をどのように知覚するかを考察する。 心理言語学的刺激を用いて、様々な言語文脈がモデル出力の補償パターンにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2024-06-21T15:58:22Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Do self-supervised speech and language models extract similar representations as human brain? [2.390915090736061]
  自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。 我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
  論文  参考訳（メタデータ） (2023-10-07T01:39:56Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。