論文の概要: Are BabyLMs Second Language Learners?

• arxiv url: http://arxiv.org/abs/2410.21254v1
• Date: Mon, 28 Oct 2024 17:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:19.939172
• Title: Are BabyLMs Second Language Learners?
• Title（参考訳）: BabyLMは第二言語学習者か?
• Authors: Lukas Edman, Lisa Bylinina, Faeze Ghorbanpour, Alexander Fraser,
• Abstract要約: 本稿では,BabyLM Challengeの2024年版に対する言語的動機づけのアプローチについて述べる。 第1言語学習(L1)パラダイムを追求するのではなく,第2言語(L2)学習の観点から,課題にアプローチする。
• 参考スコア（独自算出の注目度）: 48.85680614529188
• License:
• Abstract: This paper describes a linguistically-motivated approach to the 2024 edition of the BabyLM Challenge (Warstadt et al. 2023). Rather than pursuing a first language learning (L1) paradigm, we approach the challenge from a second language (L2) learning perspective. In L2 learning, there is a stronger focus on learning explicit linguistic information, such as grammatical notions, definitions of words or different ways of expressing a meaning. This makes L2 learning potentially more efficient and concise. We approximate this using data from Wiktionary, grammar examples either generated by an LLM or sourced from grammar books, and paraphrase data. We find that explicit information about word meaning (in our case, Wiktionary) does not boost model performance, while grammatical information can give a small improvement. The most impactful data ingredient is sentence paraphrases, with our two best models being trained on 1) a mix of paraphrase data and data from the BabyLM pretraining dataset, and 2) exclusively paraphrase data.
• Abstract（参考訳）: 本稿では,2024年版BabyLM Challenge(Warstadt et al 2023)に対する言語的動機づけのアプローチについて述べる。 第1言語学習(L1)パラダイムを追求するのではなく,第2言語(L2)学習の観点から,課題にアプローチする。 L2学習では、文法的概念、単語の定義、意味を表現する異なる方法など、明示的な言語情報を学ぶことに重点が置かれている。 これにより、L2学習はより効率的で簡潔になる。 我々は、Wiktionaryのデータ、LLMによって生成された文法例、文法書から生成された文法例、およびパラフレーズデータを用いてこれを近似する。 単語の意味に関する明示的な情報(この場合、Wiktionary)はモデルの性能を向上しないが、文法的な情報はわずかな改善をもたらす。 最も影響力のあるデータ要素は文のパラフレーズであり、私たちの2つの最高のモデルがトレーニングされています。 1)BabyLM事前学習データセットからのパラフレーズデータとデータの混合 2) 排他的言い換えデータ。

関連論文リスト

• Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book? [6.905647501099997]
  極低リソース(XLR)言語は、NLPモデルをトレーニングするためのかなりのコーパスを欠いている。 One Book からの機械翻訳では、長文 LLM を1つの文法書で促すことで、英語とカラマン語を翻訳できる。 本書の文法的説明や平行な例がXLR翻訳の学習に最も有効かどうかを検討する。
  論文  参考訳（メタデータ） (2024-09-27T21:27:32Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Morphosyntactic probing of multilingual BERT models [41.83131308999425]
  言語モデルにおける形態情報の多言語探索のための広範囲なデータセットを提案する。 トレーニング済みのTransformerモデル (mBERT と XLM-RoBERTa) では,これらのタスク間で高い性能を実現することができる。
  論文  参考訳（メタデータ） (2023-06-09T19:15:20Z)
• SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
  言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-05-31T06:22:07Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Pedagogical Word Recommendation: A novel task and dataset on personalized vocabulary acquisition for L2 learners [4.507860128918788]
  Pedagogical Word Recommendation と呼ばれる新しいタスクのためのデータの提案と公開を行う。 PWRの主な目的は、学習者が既に見てきた他の単語に基づいて、ある学習者が与えられた単語を知っているかどうかを予測することである。 このITSの特徴として、学生は、自分たちが解決した質問から知らない単語を直接表示して、ワードブックを作成することができる。
  論文  参考訳（メタデータ） (2021-12-27T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。