論文の概要: A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models

• arxiv url: http://arxiv.org/abs/2306.02254v2
• Date: Tue, 6 Jun 2023 03:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 11:59:17.339990
• Title: A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models
• Title（参考訳）: Polyglot-Ko: オープンソースの大規模韓国語モデル
• Authors: Hyunwoong Ko, Kichang Yang, Minho Ryu, Taekyoon Choi, Seungmu Yang, Jiwung Hyun, Sungho Park, Kyubyong Park
• Abstract要約: Polyglotは多言語モデルの非英語のパフォーマンス向上を目的とした先駆的なプロジェクトである。 多言語韓国語モデルは、自然界において多言語的ではなく、特定の焦点を表わすものである。
• 参考スコア（独自算出の注目度）: 6.907247943327277
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Polyglot is a pioneering project aimed at enhancing the non-English language performance of multilingual language models. Despite the availability of various multilingual models such as mBERT (Devlin et al., 2019), XGLM (Lin et al., 2022), and BLOOM (Scao et al., 2022), researchers and developers often resort to building monolingual models in their respective languages due to the dissatisfaction with the current multilingual models non-English language capabilities. Addressing this gap, we seek to develop advanced multilingual language models that offer improved performance in non-English languages. In this paper, we introduce the Polyglot Korean models, which represent a specific focus rather than being multilingual in nature. In collaboration with TUNiB, our team collected 1.2TB of Korean data meticulously curated for our research journey. We made a deliberate decision to prioritize the development of Korean models before venturing into multilingual models. This choice was motivated by multiple factors: firstly, the Korean models facilitated performance comparisons with existing multilingual models; and finally, they catered to the specific needs of Korean companies and researchers. This paper presents our work in developing the Polyglot Korean models, which propose some steps towards addressing the non-English language performance gap in multilingual language models.
• Abstract（参考訳）: Polyglotは多言語モデルの非英語のパフォーマンス向上を目的とした先駆的なプロジェクトである。 mBERT (Devlin et al., 2019)、XGLM (Lin et al., 2022)、BLOOM (Scao et al., 2022) のような様々な多言語モデルが利用可能であるにもかかわらず、研究者や開発者は現在の多言語モデル非英語機能に不満があるため、それぞれの言語でモノリンガルモデルを構築することに頼ることが多い。 このギャップに対処するため、非英語言語の性能向上を提供する先進多言語言語モデルの開発を目指している。 本稿では,本論文で紹介する多言語韓国語モデルについて紹介する。 TUNiBと共同で、研究旅行のために厳格にキュレートされた韓国の1.2TBのデータを収集しました。 我々は,多言語モデルに導入する前に,韓国語モデルの開発を優先する決定をした。 この選択は、複数の要因によって動機づけられた: まず、韓国モデルは、既存の多言語モデルのパフォーマンス比較を促進し、最後に、韓国企業や研究者の特定のニーズに対応する。 本稿では,多言語言語モデルにおける非英語言語のパフォーマンスギャップに対処するためのいくつかのステップを提案する。

関連論文リスト

• Poro 34B and the Blessing of Multilinguality [3.270981284471548]
  Poro 34Bは、フィンランド語、英語、プログラミング言語の1兆トークンのために訓練された34億のパラメータモデルである。 フィンランド語における既存モデルの能力を大幅に向上するモデルを,多言語学習アプローチにより生成できることが示される。
  論文  参考訳（メタデータ） (2024-04-02T11:34:12Z)
• Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models [110.10545153845051]
  X-ELM(X-Langual Expert Language Models、X-ELM)は、X-ELMを異なる言語に専門化するプロセスである。 新しい専門家を反復的に追加し、破滅的な忘れをせずに新しい言語にX-ELMを適用する。
  論文  参考訳（メタデータ） (2024-01-19T01:07:50Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Lost in Translation: Large Language Models in Non-English Content Analysis [0.0]
  大規模言語モデルは、オンラインで言語を分析し、生成するAIシステムを構築する上で、支配的なアプローチとなっている。 近年、研究者やテクノロジー企業は、大規模言語モデルの能力を英語以外の言語にも拡張しようと試みている。
  論文  参考訳（メタデータ） (2023-06-12T19:10:47Z)
• Lessons learned from the evaluation of Spanish Language Models [27.653133576469276]
  本稿では,スペイン語の言語モデルと,以下の結果との比較を行う。 我々は、その根底にある要因を理解するために、さらなる研究の必要性を論じる。 スペイン語のための言語技術開発における最近の活動は歓迎されるが、我々の結果は、言語モデルの構築は依然としてオープンでリソースの多い問題であることを示している。
  論文  参考訳（メタデータ） (2022-12-16T10:33:38Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models [1.52292571922932]
  自然言語理解(NLU)モデルのための汎用多言語モデルフレームワークを提案する。 これらの多言語モデルが,言語固有のテストデータにまたがる単言語モデルと比較して,同等あるいは優れた性能に到達できることを示す。
  論文  参考訳（メタデータ） (2020-12-07T17:14:52Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
  我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。 我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
  論文  参考訳（メタデータ） (2020-03-17T07:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。