Fugu-MT 論文翻訳(概要): Large Vocabulary Size Improves Large Language Models

論文の概要: Large Vocabulary Size Improves Large Language Models

arxiv url: http://arxiv.org/abs/2406.16508v1
Date: Mon, 24 Jun 2024 10:27:07 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 15:14:19.650613
Title: Large Vocabulary Size Improves Large Language Models
Title（参考訳）: 大きな語彙サイズは大きな言語モデルを改善する
Authors: Sho Takase, Ryokan Ri, Shun Kiyono, Takuya Kato,
Abstract要約: 単語語彙サイズと大規模言語モデル(LLM)の性能の関係について検討する。実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。
参考スコア（独自算出の注目度）: 28.83786065307658
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper empirically investigates the relationship between subword vocabulary size and the performance of large language models (LLMs) to provide insights on how to define the vocabulary size. Experimental results show that larger vocabulary sizes lead to better performance in LLMs. Moreover, we consider a continual training scenario where a pre-trained language model is trained on a different target language. We introduce a simple method to use a new vocabulary instead of the pre-defined one. We show that using the new vocabulary outperforms the model with the vocabulary used in pre-training.
Abstract（参考訳）: 本稿では,語彙サイズと大規模言語モデル(LLM)の性能の関係を実証的に検討し,語彙サイズの定義方法について考察する。実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。さらに,事前学習された言語モデルを異なる対象言語で訓練する連続的な訓練シナリオについても考察する。事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。本稿では,新しい語彙を用いた場合,事前学習に使用する語彙がモデルより優れていることを示す。

関連論文リスト

Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies [46.440917272424315]
大きな語彙は、少ないトークンで文を表現することでより効率的なトークン化を可能にするが、希少トークンに不適合な表現のリスクも増大させる。計算-最適語彙サイズを予測するための3つの手法を提案する。本研究は,効率的なスケーリングのために,モデルパラメータと語彙サイズを共同で検討する必要があることを強調する。
論文参考訳（メタデータ） (2024-07-18T15:58:54Z)
The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文参考訳（メタデータ） (2023-11-16T09:35:50Z)
Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
論文参考訳（メタデータ） (2023-05-26T18:06:49Z)
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文参考訳（メタデータ） (2023-04-26T19:55:52Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。本研究では,このアプローチをニューラルLMの文脈で再考する。
論文参考訳（メタデータ） (2022-03-21T01:16:44Z)
Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
論文参考訳（メタデータ） (2021-09-15T14:04:16Z)
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models [0.6091702876917281]
大規模コーパスにおける事前学習言語モデルの最近の進歩は、多くのNLPタスクにおいて大きなパフォーマンス向上をもたらした。どのような知識が獲得されたかを評価するため、言語モデルは通常、空白スタイルのクローゼ質問を埋めてクエリすることで探索される。単語の辞書定義を用いて単語理解を直接評価するためにWDLMProを導入する。
論文参考訳（メタデータ） (2021-02-06T15:15:57Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。