論文の概要: Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming

• arxiv url: http://arxiv.org/abs/2405.09508v1
• Date: Wed, 15 May 2024 17:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 12:46:35.006368
• Title: Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
• Title（参考訳）: バイリンガル文処理のモデリング:言語間構造プライミングのためのRNNとトランスフォーマーアーキテクチャの評価
• Authors: Bushi Xiao, Chao Gao, Demi Zhang,
• Abstract要約: 本研究では、言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーの性能を評価する。 これらのモデルが構造的プライミングのロバストな現象にどう対処するかを考察し、そこでは特定の文構造への露出が、その後に類似した構造を選択する可能性を高める。
• 参考スコア（独自算出の注目度）: 11.134421799875138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study evaluates the performance of Recurrent Neural Network (RNN) and Transformer in replicating cross-language structural priming: a key indicator of abstract grammatical representations in human language processing. Focusing on Chinese-English priming, which involves two typologically distinct languages, we examine how these models handle the robust phenomenon of structural priming, where exposure to a particular sentence structure increases the likelihood of selecting a similar structure subsequently. Additionally, we utilize large language models (LLM) to measure the cross-lingual structural priming effect. Our findings indicate that Transformer outperform RNN in generating primed sentence structures, challenging the conventional belief that human sentence processing primarily involves recurrent and immediate processing and suggesting a role for cue-based retrieval mechanisms. Overall, this work contributes to our understanding of how computational models may reflect human cognitive processes in multilingual contexts.
• Abstract（参考訳）: 本研究では,言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーの性能を評価する。 2つの類型的な言語を含む中国語・英語のプライミングに着目し、これらのモデルが構造的プライミングの頑健な現象にどう対処するかを検討する。 さらに,大規模言語モデル(LLM)を用いて言語間構造プライミング効果を測定する。 以上の結果から,Transformer は原文構造の生成において RNN よりも優れており,人間の文処理は繰り返し処理と即時処理を主眼とする従来の信念に挑戦し,キューに基づく検索機構の役割を示唆している。 全体として、この研究は、計算モデルが多言語文脈における人間の認知過程をどのように反映するかの理解に寄与する。

関連論文リスト

• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Modeling structure-building in the brain with CCG parsing and large language models [9.17816011606258]
  Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。 我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
  論文  参考訳（メタデータ） (2022-10-28T14:21:29Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Retrofitting Structure-aware Transformer Language Model for End Tasks [34.74181162627023]
  エンドタスクを容易にするための構造対応トランスフォーマー言語モデルについて検討する。 中層構造学習戦略は構造統合に活用される。 実験結果から, 再構成構造対応トランスフォーマー言語モデルにより, パープレキシティが向上することが確認された。
  論文  参考訳（メタデータ） (2020-09-16T01:07:07Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。