論文の概要: Speech language models lack important brain-relevant semantics
- arxiv url: http://arxiv.org/abs/2311.04664v2
- Date: Sun, 16 Jun 2024 23:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 11:31:28.958262
- Title: Speech language models lack important brain-relevant semantics
- Title（参考訳）: 言語モデルには重要な脳関連意味論が欠如している
- Authors: Subba Reddy Oota, Emin Çelik, Fatma Deniz, Mariya Toneva,
- Abstract要約: 近年の研究では、テキストベースの言語モデルは、テキスト誘発脳活動と音声誘発脳活動の両方を驚くほど予測している。
このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
- 参考スコア（独自算出の注目度）: 6.626540321463248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite known differences between reading and listening in the brain, recent work has shown that text-based language models predict both text-evoked and speech-evoked brain activity to an impressive degree. This poses the question of what types of information language models truly predict in the brain. We investigate this question via a direct approach, in which we systematically remove specific low-level stimulus features (textual, speech, and visual) from language model representations to assess their impact on alignment with fMRI brain recordings during reading and listening. Comparing these findings with speech-based language models reveals starkly different effects of low-level features on brain alignment. While text-based models show reduced alignment in early sensory regions post-removal, they retain significant predictive power in late language regions. In contrast, speech-based models maintain strong alignment in early auditory regions even after feature removal but lose all predictive power in late language regions. These results suggest that speech-based models provide insights into additional information processed by early auditory regions, but caution is needed when using them to model processing in late language regions. We make our code publicly available. [https://github.com/subbareddy248/speech-llm-brain]
- Abstract（参考訳）: 脳内での読みと聞き取りの違いが知られているにもかかわらず、最近の研究はテキストベースの言語モデルが、テキスト誘発脳活動と音声誘発脳活動の両方を驚くほど予測していることを示している。
このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
本研究では, 言語モデル表現から特定の低レベル刺激特徴(テキスト, 音声, 視覚)を体系的に除去し, 読聴時のfMRI脳波記録とのアライメントに与える影響を評価する。
これらの結果と音声に基づく言語モデルを比較すると、脳のアライメントに対する低レベル特徴の影響は大きく異なる。
テキストベースのモデルは、削除後の早期知覚領域におけるアライメントを減少させるが、後期言語領域では大きな予測力を保持する。
対照的に、音声に基づくモデルは、特徴除去後も初期の聴覚領域では強いアライメントを維持しているが、後期言語領域では全ての予測力を失う。
これらの結果は,音声モデルが早期聴覚領域で処理された付加情報に対する洞察を提供することを示しているが,後期言語領域での処理をモデル化するためには注意が必要であることを示唆している。
コードを公開しています。
[https://github.com/subbareddy248/speech-llm-brain]
関連論文リスト
- Towards Unified Neural Decoding of Perceived, Spoken and Imagined Speech from EEG Signals [1.33134751838052]
本研究では,非侵襲的ニューラルネットワーク復号法におけるディープラーニングモデルの有効性について検討した。
それは、知覚、過度、ささやき、想像されたスピーチなど、異なる音声パラダイムの区別に焦点を当てた。
論文 参考訳（メタデータ） (2024-11-14T07:20:08Z) - Improving semantic understanding in speech language models via brain-tuning [19.732593005537606]
言語モデルは、人間の脳の自然言語に対する反応と驚くほど一致している。
現在のモデルは低レベルの音声機能に大きく依存しており、脳関連セマンティクスが欠如していることを示している。
我々は、fMRI記録による微調整により、脳関連バイアスを直接モデルに誘導することで、この制限に対処する。
論文 参考訳（メタデータ） (2024-10-11T20:06:21Z) - SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。
我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
論文 参考訳（メタデータ） (2024-04-08T15:21:17Z) - Do self-supervised speech and language models extract similar
representations as human brain? [2.390915090736061]
自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。
我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
論文 参考訳（メタデータ） (2023-10-07T01:39:56Z) - Joint processing of linguistic properties in brains and language models [14.997785690790032]
人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。
特定の言語特性の除去は脳のアライメントを著しく低下させる。
これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
論文 参考訳（メタデータ） (2022-12-15T19:13:42Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳（メタデータ） (2022-05-27T22:04:02Z) - Neural Language Taskonomy: Which NLP Tasks are the most Predictive of
fMRI Brain Activity? [3.186888145772382]
人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。
本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。
10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
論文 参考訳（メタデータ） (2022-05-03T10:23:08Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳（メタデータ） (2021-10-31T22:48:30Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。