論文の概要: Modeling structure-building in the brain with CCG parsing and large
language models
- arxiv url: http://arxiv.org/abs/2210.16147v1
- Date: Fri, 28 Oct 2022 14:21:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:06:13.621768
- Title: Modeling structure-building in the brain with CCG parsing and large
language models
- Title(参考訳): CCG解析と大規模言語モデルを用いた脳構造構築のモデル化
- Authors: Milo\v{s} Stanojevi\'c and Jonathan R. Brennan and Donald Dunagan and
Mark Steedman and John T. Hale
- Abstract要約: Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。
我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
- 参考スコア(独自算出の注目度): 9.17816011606258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To model behavioral and neural correlates of language comprehension in
naturalistic environments, researchers have turned to broad-coverage tools from
natural-language processing and machine learning. Where syntactic structure is
explicitly modeled, prior work has relied predominantly on context-free
grammars (CFG), yet such formalisms are not sufficiently expressive for human
languages. Combinatory Categorial Grammars (CCGs) are sufficiently expressive
directly compositional models of grammar with flexible constituency that
affords incremental interpretation. In this work we evaluate whether a more
expressive CCG provides a better model than a CFG for human neural signals
collected with fMRI while participants listen to an audiobook story. We further
test between variants of CCG that differ in how they handle optional adjuncts.
These evaluations are carried out against a baseline that includes estimates of
next-word predictability from a Transformer neural network language model. Such
a comparison reveals unique contributions of CCG structure-building
predominantly in the left posterior temporal lobe: CCG-derived measures offer a
superior fit to neural signals compared to those derived from a CFG. These
effects are spatially distinct from bilateral superior temporal effects that
are unique to predictability. Neural effects for structure-building are thus
separable from predictability during naturalistic listening, and those effects
are best characterized by a grammar whose expressive power is motivated on
independent linguistic grounds.
- Abstract(参考訳): 自然環境における言語理解の行動と神経の相関をモデル化するために、研究者は自然言語処理から機械学習まで幅広いツールに目を向けている。
構文構造が明示的にモデル化されている場合、先行研究は主に文脈自由文法(cfg)に依存しているが、そのような形式主義は人間の言語に対して十分に表現できない。
組合せカテゴリー文法(ccgs)は、漸進的な解釈を可能にする柔軟な構成構成性を持つ文法の表現的直接合成モデルである。
本研究では,より表現力に富んだccgが,fmriを用いて収集したヒト神経信号に対してcfgよりも優れたモデルを提供するかを評価する。
さらに、任意の随伴をどう扱うかが異なるCCGの変種をテストします。
これらの評価は、トランスフォーマリンニューラルネットワークモデルから次の単語予測可能性の推定を含むベースラインに対して実行される。
このような比較は、主に左側頭葉におけるCCG構造構築の独特な寄与を明らかにしている: CCG由来の尺度は、CFG由来のものよりも神経信号に適合する。
これらの効果は、予測可能性に特有の両側上の時間的効果とは空間的に異なる。
構造構築におけるニューラルエフェクトは、自然主義的聴取における予測可能性から分離可能であり、これらのエフェクトは、表現力が独立した言語基盤に動機付けられる文法によって最も特徴付けられる。
関連論文リスト
- Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳(メタデータ) (2023-11-16T13:37:21Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳(メタデータ) (2023-05-19T09:26:02Z) - Improving Topic Segmentation by Injecting Discourse Dependencies [29.353285741379334]
本論文では, 談話依存構造を注入した談話認識型ニューラルトピックセグメンテーションモデルを提案する。
英語評価データセットに関する実証研究により,ニューラルネットワークのトピックセグメンタに上述の談話構造を注入することで,その性能が大幅に向上することが示された。
論文 参考訳(メタデータ) (2022-09-18T18:22:25Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳(メタデータ) (2022-05-27T22:04:02Z) - Oracle Linguistic Graphs Complement a Pretrained Transformer Language
Model: A Cross-formalism Comparison [13.31232311913236]
言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。
全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
論文 参考訳(メタデータ) (2021-12-15T04:29:02Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳(メタデータ) (2021-09-27T15:04:00Z) - Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。
ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
論文 参考訳(メタデータ) (2021-07-29T13:34:20Z) - Causal Analysis of Syntactic Agreement Mechanisms in Neural Language
Models [40.83377935276978]
本研究は、訓練済みニューラルネットワークモデルに因果媒介分析を適用した。
文法的屈折に対するモデルの好みの大きさについて検討する。
本研究は, 構文構造に応じて, 主語と主語を一致させる2つのメカニズムを観察する。
論文 参考訳(メタデータ) (2021-06-10T23:50:51Z) - Decomposing lexical and compositional syntax and semantics with deep
language models [82.81964713263483]
GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。
本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。
その結果は2つの結果が浮かび上がった。
まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
論文 参考訳(メタデータ) (2021-03-02T10:24:05Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳(メタデータ) (2020-10-09T15:33:54Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。