論文の概要: RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining
- arxiv url: http://arxiv.org/abs/2408.11294v1
- Date: Wed, 21 Aug 2024 02:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 18:38:57.996120
- Title: RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining
- Title（参考訳）: RedWhale: 継続的なトレーニングを効果的に行う韓国のLLM
- Authors: Anh-Dung Vo, Minseong Jung, Wonbeen Lee, Daewoo Choi,
- Abstract要約: 韓国語処理に特化したモデルであるRedWhaleを紹介する。
RedWhaleは、韓国の包括的コーパス前処理パイプラインを含む効率的な継続事前訓練アプローチを用いて開発されている。
実験の結果、RedWhaleは韓国のNLPベンチマークで他の主要なモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of Natural Language Processing (NLP) has seen significant advancements with the development of Large Language Models (LLMs). However, much of this research remains focused on English, often overlooking low-resource languages like Korean. This oversight presents challenges due to the unique non-alphabetic token structure of Korean and the substantial memory and computational demands required for LLM training, which frequently lead to memory constraints and out-of-memory errors. To address these issues, we present RedWhale, a model specifically tailored for Korean language processing. RedWhale is developed using an efficient continual pretraining approach that includes a comprehensive Korean corpus preprocessing pipeline, a specialized tokenizer, an optimized model initialization technique, and a multistage pretraining strategy. These innovations collectively reduce training time and computational costs while maintaining high levels of accuracy and comprehension. By leveraging cross-lingual transfer learning, which exploits shared linguistic similarities across languages, RedWhale builds on English models to enhance Korean language processing. Experimental results demonstrate that RedWhale outperforms other leading models on Korean NLP benchmarks, including the Korean Balanced Evaluation of Significant Tasks (KoBEST), showing superior understanding and generation of Korean text. Furthermore, RedWhale showed no signs of convergence even after pretraining on 9.7 billion tokens, indicating the potential for further improvements with additional training. This work represents a significant advancement in bridging the linguistic divide, particularly in enhancing NLP capabilities for the Korean language.
- Abstract（参考訳）: 自然言語処理(NLP)の分野は、Large Language Models (LLMs) の開発で大きな進歩を遂げている。
しかし、この研究の多くは英語に焦点を当てており、韓国語のような低リソース言語を見落としていることが多い。
この監視は、韓国のユニークな非代数的トークン構造と、LLMトレーニングに必要なかなりのメモリと計算上の要求により、しばしばメモリ制約やメモリ外エラーを引き起こすため、課題を提起する。
これらの問題に対処するため,韓国語処理に適したモデルRedWhaleを提案する。
RedWhaleは、韓国の包括的コーパス事前処理パイプライン、特殊トークン化器、最適化されたモデル初期化技術、多段階事前学習戦略を含む効率的な継続事前学習アプローチを用いて開発されている。
これらのイノベーションは、高いレベルの精度と理解を維持しながら、トレーニング時間と計算コストを総括的に削減する。
言語間の共通言語的類似性を利用する言語間移動学習を活用することで、RedWhaleは韓国語処理を強化するための英語モデルを構築している。
実験の結果、RedWhaleは韓国のNLPベンチマークで他の主要なモデルよりも優れており、KoBEST(Koran Balanced Evaluation of Significant Tasks)は韓国のテキストの理解と生成に優れていた。
さらに、RedWhaleは970億のトークンを事前訓練した後でさえ収束の兆候を示しておらず、追加のトレーニングでさらなる改善の可能性を示している。
この研究は、特に韓国語におけるNLP能力の向上において、言語分割をブリッジする大きな進歩を示している。
関連論文リスト
- InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。
実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。
このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
論文 参考訳（メタデータ） (2024-05-30T15:45:13Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - HyperCLOVA X Technical Report [119.94633129762133]
韓国語と文化に合わせた大型言語モデル(LLM)のファミリーであるHyperCLOVA Xを紹介する。
HyperCLOVA Xは韓国語、英語、コードデータのバランスの取れた混合でトレーニングされ、その後、高品質な人間アノテーション付きデータセットによる命令チューニングが行われた。
このモデルは、韓国語と英語の両方で、包括的な推論、知識、常識、事実性、コーディング、数学、チャット、指示追従、無害など、様々なベンチマークで評価されている。
論文 参考訳（メタデータ） (2024-04-02T13:48:49Z) - Efficient and Effective Vocabulary Expansion Towards Multilingual Large
Language Models [9.359647125218359]
本報告では,韓国語による大規模言語モデルの適応である texttEEVE-Korean-v1.0 を紹介する。
我々の手法は、わずか20億のトークンで非英語の習熟度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2024-02-22T17:12:39Z) - HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models [0.0]
HAE-RAE Benchは,韓国の文化的・文脈的深度に欠けるモデルに挑戦するためのデータセットである。
このデータセットは、語彙、歴史、一般的な知識、読み理解の4つの領域にまたがる6つの下流タスクを含んでいる。
論文 参考訳（メタデータ） (2023-09-06T04:38:16Z) - Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。
RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
論文 参考訳（メタデータ） (2023-07-03T17:12:44Z) - KOBEST: Korean Balanced Evaluation of Significant Tasks [3.664687661363732]
自然言語処理(NLP)分野の進歩を加速させる上で,十分に構成されたベンチマークが重要な役割を担っている。
我々は,韓国語下流5つのタスクからなる重要なタスク(KoBEST)について,韓国語バランス評価という新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2022-04-09T20:13:51Z) - Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。
シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。
提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
論文 参考訳（メタデータ） (2021-07-27T06:51:13Z) - Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。
簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。
当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
論文 参考訳（メタデータ） (2021-03-20T03:57:59Z) - KoreALBERT: Pretraining a Lite BERT Model for Korean Language
Understanding [6.414554168135807]
KoreALBERTは韓国語理解のための単言語ALBERTモデルである。
トレーニング済みのPruALBERTは、6つの異なるNLUタスクでBERTよりも優れています。
論文 参考訳（メタデータ） (2021-01-27T12:48:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。