論文の概要: Don't stop the training: continuously-updating self-supervised algorithms best account for auditory responses in the cortex

• arxiv url: http://arxiv.org/abs/2202.07290v1
• Date: Tue, 15 Feb 2022 10:12:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 23:03:59.482259
• Title: Don't stop the training: continuously-updating self-supervised algorithms best account for auditory responses in the cortex
• Title（参考訳）: 訓練をやめるな: 自己教師付きアルゴリズムが脳皮質の聴覚反応に最適な理由
• Authors: Pierre Orhan, Yves Boubenec, Jean-R\'emi King
• Abstract要約: 機能的UltraSound Imaging(fUS)により記録された2つのフェレット聴覚皮質の脳反応の解析 960,hの音声で事前訓練した自己教師型ニューラルネットワークであるWav2vec 2.0の活性化とこれらの脳反応を比較した。
• 参考スコア（独自算出の注目度）: 1.7725414095035827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the last decade, numerous studies have shown that deep neural networks exhibit sensory representations similar to those of the mammalian brain, in that their activations linearly map onto cortical responses to the same sensory inputs. However, it remains unknown whether these artificial networks also learn like the brain. To address this issue, we analyze the brain responses of two ferret auditory cortices recorded with functional UltraSound imaging (fUS), while the animals were presented with 320 10\,s sounds. We compare these brain responses to the activations of Wav2vec 2.0, a self-supervised neural network pretrained with 960\,h of speech, and input with the same 320 sounds. Critically, we evaluate Wav2vec 2.0 under two distinct modes: (i) "Pretrained", where the same model is used for all sounds, and (ii) "Continuous Update", where the weights of the pretrained model are modified with back-propagation after every sound, presented in the same order as the ferrets. Our results show that the Continuous-Update mode leads Wav2Vec 2.0 to generate activations that are more similar to the brain than a Pretrained Wav2Vec 2.0 or than other control models using different training modes. These results suggest that the trial-by-trial modifications of self-supervised algorithms induced by back-propagation aligns with the corresponding fluctuations of cortical responses to sounds. Our finding thus provides empirical evidence of a common learning mechanism between self-supervised models and the mammalian cortex during sound processing.
• Abstract（参考訳）: 過去10年間に多くの研究が、深層ニューラルネットワークが哺乳類の脳と同様の感覚表現を示し、その活性化が同じ感覚入力に対する皮質反応に線形にマッピングされていることを示した。 しかし、これらの人工ネットワークが脳のように学習するかどうかは不明だ。 この問題に対処するために,機能的超音波画像(fus)で記録されたフェレット聴覚皮質2つの脳反応を解析し,動物に32010\,s音を提示した。 これらの脳反応を,960\,hの音声で事前学習された自己教師付きニューラルネットワークwav2vec 2.0の活性化と,同じ320音の入力と比較した。 Wav2vec 2.0を2つの異なるモードで評価する。 (i)全ての音に同じモデルを用いる「予習」、 (II)事前訓練されたモデルの重みを各音の後に後方伝搬で修正し、フェレットと同じ順序で提示する「連続更新」。 以上の結果から,wav2vec 2.0は,事前学習されたwav2vec 2.0や,異なるトレーニングモードを用いた他の制御モデルよりも脳に類似したアクティベーションを生成する。 これらの結果は, バックプロパゲーションによって誘導される自己教師付きアルゴリズムの試行錯誤が, 音に対する皮質反応の変動と一致することを示唆している。 その結果,音処理における自己教師モデルと大脳皮質間の共通学習機構の実証的証拠が得られた。

関連論文リスト

• Human-like Linguistic Biases in Neural Speech Models: Phonetic Categorization and Phonotactic Constraints in Wav2Vec2.0 [0.11510009152620666]
  We study how how Wav2Vec2solvs phonotactic constraints。 我々は/l/と/r/の音響連続体に音を合成し、制御された文脈に埋め込む。 人間と同様に、Wav2Vec2モデルは、このようなあいまいな音を処理する際に、音素的に許容できるカテゴリーに対してバイアスを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:04:31Z)
• Utilizing Machine Learning and 3D Neuroimaging to Predict Hearing Loss: A Comparative Analysis of Dimensionality Reduction and Regression Techniques [0.0]
  我々は,脳の灰白質3次元画像における難聴閾値を予測するための機械学習アプローチについて検討した。 第1フェーズでは,3次元CNNモデルを用いて,遅延空間への高次元入力を低減した。 第2フェーズでは、このモデルを使用して、リッチな機能への入力を削減した。
  論文  参考訳（メタデータ） (2024-04-30T18:39:41Z)
• An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits [22.558134249701794]
  音声・視覚音声分離のための新しい皮質・視床・皮質神経回路(CTCNet)を提案する。 CTCNetは階層的な聴覚と視覚の表現をボトムアップで学習する。 3つの音声分離ベンチマークデータセットの実験では、CTCNetはパラメータがかなり少ない既存のAVSSメソッドよりも著しく優れていた。
  論文  参考訳（メタデータ） (2022-12-21T03:28:30Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。