論文の概要: SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT

• arxiv url: http://arxiv.org/abs/2305.19589v1
• Date: Wed, 31 May 2023 06:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:07:14.089462
• Title: SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT
• Title（参考訳）: SLABERTの講演より - BERTによる第二言語獲得のモデル化
• Authors: Aditya Yadavalli, Alekhya Yadavalli, Vera Tobin
• Abstract要約: 言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Second language acquisition (SLA) research has extensively studied cross-linguistic transfer, the influence of linguistic structure of a speaker's native language [L1] on the successful acquisition of a foreign language [L2]. Effects of such transfer can be positive (facilitating acquisition) or negative (impeding acquisition). We find that NLP literature has not given enough attention to the phenomenon of negative transfer. To understand patterns of both positive and negative transfer between L1 and L2, we model sequential second language acquisition in LMs. Further, we build a Mutlilingual Age Ordered CHILDES (MAO-CHILDES) -- a dataset consisting of 5 typologically diverse languages, i.e., German, French, Polish, Indonesian, and Japanese -- to understand the degree to which native Child-Directed Speech (CDS) [L1] can help or conflict with English language acquisition [L2]. To examine the impact of native CDS, we use the TILT-based cross lingual transfer learning approach established by Papadimitriou and Jurafsky (2020) and find that, as in human SLA, language family distance predicts more negative transfer. Additionally, we find that conversational speech data shows greater facilitation for language acquisition than scripted speech data. Our findings call for further research using our novel Transformer-based SLA models and we would like to encourage it by releasing our code, data, and models.
• Abstract（参考訳）: 第2言語習得(SLA)研究は、話者の母語(L1)の言語構造が外国語(L2)の獲得に与える影響について、言語間移動を幅広く研究してきた。 このような移動の影響は、ポジティブ(フェシリテート獲得)やネガティブ(フェシリテート獲得)である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 L1 と L2 間の正および負の移動パターンを理解するために, LM における逐次第二言語獲得をモデル化する。 さらに,母国語話者の母国語音声(cds)が英語習得の助けとなるか,あるいは対立する程度を理解するために,日本語,ドイツ語,フランス語,ポーランド語,インドネシア語,日本語の5つの類型的多種多様な言語からなる母語話者(mao-childes,mao-childes,mao-childes)を構築した。 ネイティブCDSの影響を調べるために,Papadimitriou と Jurafsky (2020) によって確立された TILT を用いたクロスリンガルトランスファー学習手法を用いて,人間のSLA と同様に,言語家族距離がより負のトランスファーを予測することを発見した。 また,対話型音声データは,スクリプト音声データよりも言語獲得の促進度が高いことがわかった。 我々の発見は、新しいTransformerベースのSLAモデルを使ってさらなる研究を求めており、コード、データ、モデルを公開することでそれを奨励したいと考えています。

関連論文リスト

• Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education [3.799331337558008]
  大規模言語モデル(LLM)は、教育コンテンツの生成、インストラクターのフィードバックの提供、アセスメントにおける教師の作業量の削減を約束する。 本研究では,多言語大言語モデル(MLLM)がモノリンガル(英語のみ,スペイン語のみ)とバイリンガル(スパングリッシュ)にまたがって有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T23:16:25Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models? [48.88328580373103]
  パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。 第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。 mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
  論文  参考訳（メタデータ） (2023-11-07T08:16:16Z)
• Second Language Acquisition of Neural Language Models [17.356128991925576]
  この研究は、第2言語(L2)によるニューラル言語モデル(LM)の獲得に光を当てている。 我々は,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動を解析した。
  論文  参考訳（メタデータ） (2023-06-05T14:32:41Z)
• How do languages influence each other? Studying cross-lingual data sharing during LM fine-tuning [14.02101305717738]
  多言語大言語モデル(MLLM)は、多くの異なる言語からのデータに基づいて共同で訓練される。 言語がどの程度、どの条件下で、互いのデータに依存しているかは、まだ不明である。 MLLMは、細調整の初期段階から複数の言語からのデータに依存しており、細調整の進行に伴って、この依存度が徐々に増加することが判明した。
  論文  参考訳（メタデータ） (2023-05-22T17:47:41Z)
• Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability [16.01088313166145]
  大規模言語モデルにおける偶発的バイリンガル主義の役割について検討する。 PaLMは少なくとも44言語で3000万以上の翻訳ペアに公開されています。 その存在が翻訳能力に重大な影響を与えていることを示すが、この影響はモデルスケールによって減少する。
  論文  参考訳（メタデータ） (2023-05-17T14:58:06Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。