論文の概要: Scaling laws for language encoding models in fMRI

• arxiv url: http://arxiv.org/abs/2305.11863v4
• Date: Tue, 30 Jan 2024 18:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 19:26:59.616854
• Title: Scaling laws for language encoding models in fMRI
• Title（参考訳）: fMRIにおける言語符号化モデルのスケーリング法則
• Authors: Richard Antonello, Aditya Vaidya, and Alexander G. Huth
• Abstract要約: 我々は、fMRIを用いて記録された脳の反応を予測するために、より大きなオープンソースモデルの方が優れているかどうかを検証した。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 これらの結果は、脳内の言語処理の極めて効果的なモデルが得られることを示唆している。
• 参考スコア（独自算出の注目度）: 47.498241053872924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representations from transformer-based unidirectional language models are known to be effective at predicting brain responses to natural language. However, most studies comparing language models to brains have used GPT-2 or similarly sized language models. Here we tested whether larger open-source models such as those from the OPT and LLaMA families are better at predicting brain responses recorded using fMRI. Mirroring scaling results from other contexts, we found that brain prediction performance scales logarithmically with model size from 125M to 30B parameter models, with ~15% increased encoding performance as measured by correlation with a held-out test set across 3 subjects. Similar logarithmic behavior was observed when scaling the size of the fMRI training set. We also characterized scaling for acoustic encoding models that use HuBERT, WavLM, and Whisper, and we found comparable improvements with model size. A noise ceiling analysis of these large, high-performance encoding models showed that performance is nearing the theoretical maximum for brain areas such as the precuneus and higher auditory cortex. These results suggest that increasing scale in both models and data will yield incredibly effective models of language processing in the brain, enabling better scientific understanding as well as applications such as decoding.
• Abstract（参考訳）: トランスフォーマーに基づく一方向言語モデルからの表現は、自然言語に対する脳の反応を予測するのに有効であることが知られている。 しかし、言語モデルと脳を比較するほとんどの研究は、GPT-2または同様の大きさの言語モデルを用いている。 ここでは、OPTやLLaMAファミリーのような大規模なオープンソースモデルが、fMRIを用いて記録された脳反応を予測するのに優れているかどうかを検証した。 その結果、脳の予測性能は125Mから30Bのパラメータモデルと対数的にスケールし、約15%のエンコーディング性能が3つの被験者で設定されたホールドアウトテストと相関して測定された。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 また,hubert,wavlm,whisperを用いた音響符号化モデルのスケーリングを特徴とし,モデルサイズと同等の性能改善を見出した。 これらの大規模で高性能な符号化モデルのノイズ天井解析により、前神経や高次聴覚野などの脳領域の理論的最大値に近い性能を示した。 これらの結果は、モデルとデータの両方におけるスケールの増加が、脳における言語処理の信じられないほど効果的なモデルをもたらすことを示唆している。

関連論文リスト

• Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
  誘導ヘッドngramモデル(Induction-Gram)を提案する。 この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。 実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-10-31T12:33:26Z)
• Training Compute-Optimal Vision Transformers for Brain Encoding [0.46873264197900916]
  脳エンコーディングのための視覚変換器の最適トレーニングは、モデルサイズ、データサイズ、計算資源の3つの要素に依存する。 本研究では、データスケーリング、時間モデルスケーリング、高性能コンピューティングが脳エンコーディング結果に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-10-17T12:54:50Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• fMRI predictors based on language models of increasing complexity recover brain left lateralization [4.1618731507412505]
  脳の相関の左右差は、パラメータ数によるスケーリング則に従っていることを示す。 この発見は、大きな言語モデルを用いた脳活動の計算的解析と、言語に対する左半球優位を示す失語患者からの古典的な観察を照合する。
  論文  参考訳（メタデータ） (2024-05-28T09:24:52Z)
• Applicability of scaling laws to vision encoding models [0.7734726150561089]
  我々は,Algonauts Project 2023 Challengeへの参加の一環として,脳活動を予測する高性能視覚符号化モデルの構築方法について検討した。 この課題は、参加者が画像を見ている間、機能的MRI(fMRI)によって記録された脳活動を提供する。 86Mから4.3Bまでのパラメータサイズを持ついくつかのビジョンモデルを使用して予測モデルを構築した。
  論文  参考訳（メタデータ） (2023-08-01T17:31:14Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。