論文の概要: Speech language models lack important brain-relevant semantics
- arxiv url: http://arxiv.org/abs/2311.04664v1
- Date: Wed, 8 Nov 2023 13:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:48:48.580655
- Title: Speech language models lack important brain-relevant semantics
- Title(参考訳): 言語モデルには重要な脳関連意味論がない
- Authors: Subba Reddy Oota, Emin \c{C}elik, Fatma Deniz, Mariya Toneva
- Abstract要約: 近年の研究では、テキストベースの言語モデルは、テキスト誘発脳活動と音声誘発脳活動の両方を驚くほど予測している。
このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
- 参考スコア(独自算出の注目度): 7.239019253787705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite known differences between reading and listening in the brain, recent
work has shown that text-based language models predict both text-evoked and
speech-evoked brain activity to an impressive degree. This poses the question
of what types of information language models truly predict in the brain. We
investigate this question via a direct approach, in which we eliminate
information related to specific low-level stimulus features (textual, speech,
and visual) in the language model representations, and observe how this
intervention affects the alignment with fMRI brain recordings acquired while
participants read versus listened to the same naturalistic stories. We further
contrast our findings with speech-based language models, which would be
expected to predict speech-evoked brain activity better, provided they model
language processing in the brain well. Using our direct approach, we find that
both text-based and speech-based language models align well with early sensory
regions due to shared low-level features. Text-based models continue to align
well with later language regions even after removing these features, while,
surprisingly, speech-based models lose most of their alignment. These findings
suggest that speech-based models can be further improved to better reflect
brain-like language processing.
- Abstract(参考訳): 脳の読書と聞き取りの違いは知られているが、最近の研究はテキストベースの言語モデルがテキスト誘発脳活動と音声誘発脳活動の両方を印象的な程度に予測していることを示している。
このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
我々は,言語モデル表現における特定の低レベル刺激機能(テキスト,音声,視覚)に関する情報を排除し,この介入が,同じ自然主義的物語を読んだり聴いたりしながら取得したfMRI脳記録とのアライメントにどのように影響するかを観察する。
さらに,脳内の言語処理を十分にモデル化すれば,音声誘発脳活動の予測性が向上することが期待できる音声言語モデルと比較した。
直接的アプローチを用いて,テキストベースと音声ベースの言語モデルの両方が,低レベル機能共有による早期感覚領域に適合していることを見出した。
テキストベースのモデルは、これらの機能を削除した後でも、後続の言語領域とよく一致し続けています。
これらの結果は,脳的な言語処理をよりよく反映するために,音声ベースのモデルをさらに改善できることを示唆している。
関連論文リスト
- Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human
Narrative Processing [0.0]
これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。
これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか?
言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
論文 参考訳(メタデータ) (2023-11-17T10:09:12Z) - Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳(メタデータ) (2023-11-16T13:37:21Z) - Do self-supervised speech and language models extract similar
representations as human brain? [2.390915090736061]
自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。
我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
論文 参考訳(メタデータ) (2023-10-07T01:39:56Z) - Training language models for deeper understanding improves brain
alignment [5.678337324555035]
言語を深く理解するシステムの構築は、自然言語処理(NLP)の中心的な目標の1つである。
より深い物語理解のための学習言語モデルにより、より豊かな表現が可能となり、人間の脳活動との整合性が向上したことを示す。
論文 参考訳(メタデータ) (2022-12-21T10:15:19Z) - Joint processing of linguistic properties in brains and language models [14.997785690790032]
人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。
特定の言語特性の除去は脳のアライメントを著しく低下させる。
これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
論文 参考訳(メタデータ) (2022-12-15T19:13:42Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳(メタデータ) (2022-06-03T17:01:46Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T15:30:21Z) - Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。
本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
論文 参考訳(メタデータ) (2021-06-11T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。