論文の概要: Modeling structure-building in the brain with CCG parsing and large
language models
- arxiv url: http://arxiv.org/abs/2210.16147v3
- Date: Sun, 16 Apr 2023 21:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 23:47:28.475860
- Title: Modeling structure-building in the brain with CCG parsing and large
language models
- Title（参考訳）: CCG解析と大規模言語モデルを用いた脳構造構築のモデル化
- Authors: Milo\v{s} Stanojevi\'c and Jonathan R. Brennan and Donald Dunagan and
Mark Steedman and John T. Hale
- Abstract要約: Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。
我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
- 参考スコア（独自算出の注目度）: 9.17816011606258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To model behavioral and neural correlates of language comprehension in
naturalistic environments researchers have turned to broad-coverage tools from
natural-language processing and machine learning. Where syntactic structure is
explicitly modeled, prior work has relied predominantly on context-free
grammars (CFG), yet such formalisms are not sufficiently expressive for human
languages. Combinatory Categorial Grammars (CCGs) are sufficiently expressive
directly compositional models of grammar with flexible constituency that
affords incremental interpretation. In this work we evaluate whether a more
expressive CCG provides a better model than a CFG for human neural signals
collected with fMRI while participants listen to an audiobook story. We further
test between variants of CCG that differ in how they handle optional adjuncts.
These evaluations are carried out against a baseline that includes estimates of
next-word predictability from a Transformer neural network language model. Such
a comparison reveals unique contributions of CCG structure-building
predominantly in the left posterior temporal lobe: CCG-derived measures offer a
superior fit to neural signals compared to those derived from a CFG. These
effects are spatially distinct from bilateral superior temporal effects that
are unique to predictability. Neural effects for structure-building are thus
separable from predictability during naturalistic listening, and those effects
are best characterized by a grammar whose expressive power is motivated on
independent linguistic grounds.
- Abstract（参考訳）: 自然環境における言語理解の行動と神経の相関をモデル化するために、研究者は自然言語処理から機械学習まで幅広いツールに転換した。
構文構造が明示的にモデル化されている場合、先行研究は主に文脈自由文法(cfg)に依存しているが、そのような形式主義は人間の言語に対して十分に表現できない。
組合せカテゴリー文法(ccgs)は、漸進的な解釈を可能にする柔軟な構成構成性を持つ文法の表現的直接合成モデルである。
本研究では,より表現力に富んだccgが,fmriを用いて収集したヒト神経信号に対してcfgよりも優れたモデルを提供するかを評価する。
さらに、任意の随伴をどう扱うかが異なるCCGの変種をテストします。
これらの評価は、トランスフォーマリンニューラルネットワークモデルから次の単語予測可能性の推定を含むベースラインに対して実行される。
このような比較は、主に左側頭葉におけるCCG構造構築の独特な寄与を明らかにしている: CCG由来の尺度は、CFG由来のものよりも神経信号に適合する。
これらの効果は、予測可能性に特有の両側上の時間的効果とは空間的に異なる。
構造構築におけるニューラルエフェクトは、自然主義的聴取における予測可能性から分離可能であり、これらのエフェクトは、表現力が独立した言語基盤に動機付けられる文法によって最も特徴付けられる。
関連論文リスト
- A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。
本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
論文 参考訳（メタデータ） (2024-10-01T15:57:48Z) - Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。
その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。
これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
論文 参考訳（メタデータ） (2024-08-06T09:27:41Z) - Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。
テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。
分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
論文 参考訳（メタデータ） (2024-06-28T12:49:27Z) - Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming [10.292557971996112]
本研究では、言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーモデルの性能を評価する。
以上の結果から,トランスフォーマーは素文構造の生成においてRNNよりも優れていたことが示唆された。
この研究は、計算モデルが多種多様な言語族にまたがる人間の認知過程をどのように反映するかの理解に寄与する。
論文 参考訳（メタデータ） (2024-05-15T17:01:02Z) - Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-16T13:37:21Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳（メタデータ） (2022-05-27T22:04:02Z) - Oracle Linguistic Graphs Complement a Pretrained Transformer Language
Model: A Cross-formalism Comparison [13.31232311913236]
言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。
全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
論文 参考訳（メタデータ） (2021-12-15T04:29:02Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳（メタデータ） (2021-09-27T15:04:00Z) - Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。
ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
論文 参考訳（メタデータ） (2021-07-29T13:34:20Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳（メタデータ） (2020-10-09T15:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。