Fugu-MT 論文翻訳(概要): Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models

論文の概要: Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models

arxiv url: http://arxiv.org/abs/2310.07929v1
Date: Wed, 11 Oct 2023 22:57:03 GMT
ステータス: 処理完了
システム内更新日: 2023-10-14 13:33:22.941068
Title: Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models
Title（参考訳）: バイリンガル言語モデルの言語間構造プライミングと事前学習ダイナミクス
Authors: Catherine Arnett, Tyler A. Chang, James A. Michaelov, Benjamin K. Bergen
Abstract要約: 構造プライミングを用いて、モデル出力に対する因果効果を持つ抽象文法表現をテストする。オランダ語と英語のバイリンガル設定にアプローチを拡張し,事前学習時のオランダ語と英語のモデルを評価する。また,第2言語に曝露すると,言語間構造的プライミング効果が早期に出現し,その言語でのデータトークンが100万個未満であることが判明した。
参考スコア（独自算出の注目度）: 6.845954748361076
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Do multilingual language models share abstract grammatical representations across languages, and if so, when do these develop? Following Sinclair et al. (2022), we use structural priming to test for abstract grammatical representations with causal effects on model outputs. We extend the approach to a Dutch-English bilingual setting, and we evaluate a Dutch-English language model during pre-training. We find that crosslingual structural priming effects emerge early after exposure to the second language, with less than 1M tokens of data in that language. We discuss implications for data contamination, low-resource transfer, and how abstract grammatical representations emerge in multilingual models.
Abstract（参考訳）: 多言語言語モデルは、言語間で抽象的な文法表現を共有しているだろうか? sinclair et al. (2022) に続いて, モデル出力に対する因果効果を伴う抽象文法表現のテストに構造的プライミングを用いる。本手法をオランダ英語バイリンガル環境に拡張し,事前学習中のオランダ英語モデルを評価する。その結果,第2言語に曝露した直後から言語間構造的プライミング効果が出現し,100万個未満のデータが得られた。本稿では,データ汚染,低リソース転送,多言語モデルにおける抽象文法表現の出現について論じる。

関連論文リスト

Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
論文参考訳（メタデータ） (2024-09-10T14:58:55Z)
Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文参考訳（メタデータ） (2023-03-14T17:05:08Z)
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文参考訳（メタデータ） (2022-05-24T03:35:00Z)
Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。これにより、大規模なデータセットで数十億の外国語トークンが生成される。そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文参考訳（メタデータ） (2022-04-17T23:56:54Z)
Cross-lingual Transfer of Monolingual Models [2.332247755275824]
本稿では,ドメイン適応に基づくモノリンガルモデルの言語間移動手法を提案する。我々は、4つの異なる言語から英語へのそのような移動の効果について研究する。
論文参考訳（メタデータ） (2021-09-15T15:00:53Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。これまでの研究では、これは表現が十分に整合していないためです。本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文参考訳（メタデータ） (2021-03-18T21:17:58Z)
How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文参考訳（メタデータ） (2020-12-31T14:11:00Z)
Multilingual AMR-to-Text Generation [22.842874899794996]
20の異なる言語で生成する多言語AMR-to-textモデルを作成する。自動メトリクスに基づく18言語の場合、我々の多言語モデルは単一の言語を生成するベースラインを超えます。我々は、人間の評価を用いて形態や単語の順序を正確に把握する多言語モデルの能力を分析し、母語話者が我々の世代を流動的であると判断する。
論文参考訳（メタデータ） (2020-11-10T22:47:14Z)
Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank [46.626315158735615]
事前訓練された多言語文脈表現は大きな成功を収めてきたが、事前訓練されたデータの制限のため、すべての言語品種に等しく適用されない。このことは、ラベル付き未ラベルデータがモノリンガルモデルを効果的に訓練するにはあまりに限られている、これらのモデルに馴染みのない言語多様体にとっての課題である。本稿では,低リソース環境に多言語モデルを適用するために,言語固有の事前学習と語彙拡張の利用を提案する。
論文参考訳（メタデータ） (2020-09-29T16:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。