Fugu-MT 論文翻訳(概要): Second Language Acquisition of Neural Language Models

論文の概要: Second Language Acquisition of Neural Language Models

arxiv url: http://arxiv.org/abs/2306.02920v1
Date: Mon, 5 Jun 2023 14:32:41 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 14:34:44.418458
Title: Second Language Acquisition of Neural Language Models
Title（参考訳）: ニューラル言語モデルの第二言語獲得
Authors: Miyu Oba, Tatsuki Kuribayashi, Hiroki Ouchi, Taro Watanabe
Abstract要約: この研究は、第2言語(L2)によるニューラル言語モデル(LM)の獲得に光を当てている。我々は,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動を解析した。
参考スコア（独自算出の注目度）: 17.356128991925576
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the success of neural language models (LMs), their language acquisition has gained much attention. This work sheds light on the second language (L2) acquisition of LMs, while previous work has typically explored their first language (L1) acquisition. Specifically, we trained bilingual LMs with a scenario similar to human L2 acquisition and analyzed their cross-lingual transfer from linguistic perspectives. Our exploratory experiments demonstrated that the L1 pretraining accelerated their linguistic generalization in L2, and language transfer configurations (e.g., the L1 choice, and presence of parallel texts) substantially affected their generalizations. These clarify their (non-)human-like L2 acquisition in particular aspects.
Abstract（参考訳）: ニューラル言語モデル(LM)の成功により、言語習得に大きな注目を集めている。この研究は、LMの第二言語(L2)の獲得に光を当て、以前の研究は、通常、彼らの第一言語(L1)の獲得を探求してきた。具体的には,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動の分析を行った。我々の探索実験は、L1事前学習がL2における言語一般化を加速し、言語伝達構成(例えば、L1の選択と平行テキストの存在)がそれらの一般化に大きく影響したことを示した。これらは、(非)人間的なL2の獲得を特に明らかにしている。

関連論文リスト

How Do Multilingual Models Remember? Investigating Multilingual Factual Recall Mechanisms [50.13632788453612]
大規模言語モデル(LLM)は、事前訓練中に取得した膨大な事実知識を格納し、取得する。これらのプロセスが他の言語や多言語 LLM にどのように一般化されるのかという問題は未解明のままである。言語がリコールプロセスにおいてどのような役割を果たすのかを考察し,言語に依存しない,言語に依存したメカニズムの証拠を明らかにする。
論文参考訳（メタデータ） (2024-10-18T11:39:34Z)
Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
論文参考訳（メタデータ） (2024-10-15T15:49:15Z)
Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
論文参考訳（メタデータ） (2024-10-06T08:51:30Z)
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文参考訳（メタデータ） (2024-02-26T09:36:05Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
論文参考訳（メタデータ） (2023-05-31T06:22:07Z)
Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文参考訳（メタデータ） (2023-05-24T12:00:24Z)
A bifurcation threshold for contact-induced language change [0.0]
本稿では,強化学習と非線形力学に基づく,そのような状況の数学的モデルを提案する。このモデルは、アフリカーンのモルフォロジーレベルリングと、アフロ・ペルー・スペイン語におけるヌル人の浸食という2つのケーススタディの助けを借りて評価された。
論文参考訳（メタデータ） (2021-11-23T18:21:12Z)
A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。本報告では,MLLMに関する研究分野について概説する。
論文参考訳（メタデータ） (2021-07-01T18:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。