論文の概要: Second Language Acquisition of Neural Language Models
- arxiv url: http://arxiv.org/abs/2306.02920v1
- Date: Mon, 5 Jun 2023 14:32:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 14:34:44.418458
- Title: Second Language Acquisition of Neural Language Models
- Title(参考訳): ニューラル言語モデルの第二言語獲得
- Authors: Miyu Oba, Tatsuki Kuribayashi, Hiroki Ouchi, Taro Watanabe
- Abstract要約: この研究は、第2言語(L2)によるニューラル言語モデル(LM)の獲得に光を当てている。
我々は,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動を解析した。
- 参考スコア(独自算出の注目度): 17.356128991925576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the success of neural language models (LMs), their language acquisition
has gained much attention. This work sheds light on the second language (L2)
acquisition of LMs, while previous work has typically explored their first
language (L1) acquisition. Specifically, we trained bilingual LMs with a
scenario similar to human L2 acquisition and analyzed their cross-lingual
transfer from linguistic perspectives. Our exploratory experiments demonstrated
that the L1 pretraining accelerated their linguistic generalization in L2, and
language transfer configurations (e.g., the L1 choice, and presence of parallel
texts) substantially affected their generalizations. These clarify their
(non-)human-like L2 acquisition in particular aspects.
- Abstract(参考訳): ニューラル言語モデル(LM)の成功により、言語習得に大きな注目を集めている。
この研究は、LMの第二言語(L2)の獲得に光を当て、以前の研究は、通常、彼らの第一言語(L1)の獲得を探求してきた。
具体的には,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動の分析を行った。
我々の探索実験は、L1事前学習がL2における言語一般化を加速し、言語伝達構成(例えば、L1の選択と平行テキストの存在)がそれらの一般化に大きく影響したことを示した。
これらは、(非)人間的なL2の獲得を特に明らかにしている。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with
BERT [0.0]
言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。
我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。
そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
論文 参考訳(メタデータ) (2023-05-31T06:22:07Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T12:00:24Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - A bifurcation threshold for contact-induced language change [0.0]
本稿では,強化学習と非線形力学に基づく,そのような状況の数学的モデルを提案する。
このモデルは、アフリカーンのモルフォロジーレベルリングと、アフロ・ペルー・スペイン語におけるヌル人の浸食という2つのケーススタディの助けを借りて評価された。
論文 参考訳(メタデータ) (2021-11-23T18:21:12Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。