論文の概要: Second Language Acquisition of Neural Language Models

• arxiv url: http://arxiv.org/abs/2306.02920v1
• Date: Mon, 5 Jun 2023 14:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:34:44.418458
• Title: Second Language Acquisition of Neural Language Models
• Title（参考訳）: ニューラル言語モデルの第二言語獲得
• Authors: Miyu Oba, Tatsuki Kuribayashi, Hiroki Ouchi, Taro Watanabe
• Abstract要約: この研究は、第2言語(L2)によるニューラル言語モデル(LM)の獲得に光を当てている。 我々は,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動を解析した。
• 参考スコア（独自算出の注目度）: 17.356128991925576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the success of neural language models (LMs), their language acquisition has gained much attention. This work sheds light on the second language (L2) acquisition of LMs, while previous work has typically explored their first language (L1) acquisition. Specifically, we trained bilingual LMs with a scenario similar to human L2 acquisition and analyzed their cross-lingual transfer from linguistic perspectives. Our exploratory experiments demonstrated that the L1 pretraining accelerated their linguistic generalization in L2, and language transfer configurations (e.g., the L1 choice, and presence of parallel texts) substantially affected their generalizations. These clarify their (non-)human-like L2 acquisition in particular aspects.
• Abstract（参考訳）: ニューラル言語モデル(LM)の成功により、言語習得に大きな注目を集めている。 この研究は、LMの第二言語(L2)の獲得に光を当て、以前の研究は、通常、彼らの第一言語(L1)の獲得を探求してきた。 具体的には,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動の分析を行った。 我々の探索実験は、L1事前学習がL2における言語一般化を加速し、言語伝達構成(例えば、L1の選択と平行テキストの存在)がそれらの一般化に大きく影響したことを示した。 これらは、(非)人間的なL2の獲得を特に明らかにしている。

関連論文リスト

• Can LLMs Simulate L2-English Dialogue? An Information-Theoretic Analysis of L1-Dependent Biases [22.048949559200935]
  本研究では,L2学習者における非ネイティブな英語使用をシミュレートする大規模言語モデルの評価を行った。 対話型インタビューでは、L2の英語学習者に7つの言語にまたがる特定のL1を模倣するよう促す。 本分析では,情報理論および分布密度測定を用いて,参照語使用や回避行動などのL1駆動型言語バイアスについて検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:34:46Z)
• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
  大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。 近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。 本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:49:15Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
  言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-05-31T06:22:07Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。