論文の概要: GECKO: Generative Language Model for English, Code and Korean

• arxiv url: http://arxiv.org/abs/2405.15640v1
• Date: Fri, 24 May 2024 15:30:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:30:40.292494
• Title: GECKO: Generative Language Model for English, Code and Korean
• Title（参考訳）: GECKO: 英語、コード、韓国語のための生成言語モデル
• Authors: Sungwoo Oh, Donggyu Kim,
• Abstract要約: 韓国語と英語に最適化された二言語大言語モデル(LLM)であるGECKOとプログラミング言語を紹介する。 GECKOはLLaMAアーキテクチャを採用した韓国語と英語のバランスよく高品質なコーパスで事前訓練されている。
• 参考スコア（独自算出の注目度）: 0.02046223849354785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce GECKO, a bilingual large language model (LLM) optimized for Korean and English, along with programming languages. GECKO is pretrained on the balanced, high-quality corpus of Korean and English employing LLaMA architecture. In this report, we share the experiences of several efforts to build a better data pipeline for the corpus and to train our model. GECKO shows great efficiency in token generations for both Korean and English, despite its small size of vocabulary. We measure the performance on the representative benchmarks in terms of Korean, English and Code, and it exhibits great performance on KMMLU (Korean MMLU) and modest performance in English and Code, even with its smaller number of trained tokens compared to English-focused LLMs. GECKO is available to the open-source community under a permissive license. We hope our work offers a research baseline and practical insights for Korean LLM research. The model can be found at: https://huggingface.co/kifai/GECKO-7B
• Abstract（参考訳）: 韓国語と英語に最適化された二言語大言語モデル(LLM)であるGECKOとプログラミング言語を紹介する。 GECKOはLLaMAアーキテクチャを採用した韓国語と英語のバランスよく高品質なコーパスで事前訓練されている。 このレポートでは、コーパスのためのより良いデータパイプラインを構築し、モデルをトレーニングするためのいくつかの取り組みの経験を共有します。 GECKOは、語彙が小さいにもかかわらず、韓国語と英語の両方でトークン世代において非常に効率的である。 韓国語, 英語, コードで代表的ベンチマークで評価し, KMMLU (Korean MMLU) では高い性能を示し, 英語とコードでは中程度の性能を示した。 GECKOは、パーミッシブライセンスの下で、オープンソースコミュニティで利用可能である。 我々の研究が韓国のLLM研究に基礎と実践的な洞察を与えてくれることを願っている。 モデルは以下の通り。 https://huggingface.co/kifai/GECKO-7B

関連論文リスト

• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• Open Ko-LLM Leaderboard2: Bridging Foundational and Practical Evaluation for Korean LLMs [7.924819546105335]
  我々は、以前のOpen Ko-LLM Leaderboardの改良版であるOpen Ko-LLM Leaderboard2を提案する。 オリジナルのベンチマークは、現実の能力とより密に整合した新しいタスクに完全に置き換えられている。 韓国語の特徴をよりよく反映するために、4つの新しい韓国語ベンチマークが導入されている。
  論文  参考訳（メタデータ） (2024-10-16T10:49:22Z)
• HyperCLOVA X Technical Report [119.94633129762133]
  韓国語と文化に合わせた大型言語モデル(LLM)のファミリーであるHyperCLOVA Xを紹介する。 HyperCLOVA Xは韓国語、英語、コードデータのバランスの取れた混合でトレーニングされ、その後、高品質な人間アノテーション付きデータセットによる命令チューニングが行われた。 このモデルは、韓国語と英語の両方で、包括的な推論、知識、常識、事実性、コーディング、数学、チャット、指示追従、無害など、様々なベンチマークで評価されている。
  論文  参考訳（メタデータ） (2024-04-02T13:48:49Z)
• Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models [9.359647125218359]
  本報告では,韓国語による大規模言語モデルの適応である texttEEVE-Korean-v1.0 を紹介する。 我々の手法は、わずか20億のトークンで非英語の習熟度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-02-22T17:12:39Z)
• KMMLU: Measuring Massive Multitask Language Understanding in Korean [32.06346608507584]
  KMMLUは、人文科学からSTEMまで、45科目にわたる35,030名のエキスパートレベルの多重選択質問を備えた、韓国の新しいベンチマークである。 以前の韓国のベンチマークは既存の英語のベンチマークから翻訳されるが、KMMLUはオリジナルの韓国の試験から収集される。
  論文  参考訳（メタデータ） (2024-02-18T11:41:07Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• KLUE: Korean Language Understanding Evaluation [43.94952771238633]
  韓国語理解評価(KLUE)ベンチマークを紹介する。 KLUEは、韓国の8つの自然言語理解(NLU)タスクのコレクションである。 著作権を尊重しながら、さまざまなソースコーパスから、すべてのタスクをゼロから構築します。
  論文  参考訳（メタデータ） (2021-05-20T11:40:30Z)
• KoreALBERT: Pretraining a Lite BERT Model for Korean Language Understanding [6.414554168135807]
  KoreALBERTは韓国語理解のための単言語ALBERTモデルである。 トレーニング済みのPruALBERTは、6つの異なるNLUタスクでBERTよりも優れています。
  論文  参考訳（メタデータ） (2021-01-27T12:48:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。