論文の概要: SeaLLMs -- Large Language Models for Southeast Asia

• arxiv url: http://arxiv.org/abs/2312.00738v2
• Date: Mon, 1 Jul 2024 05:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 15:37:58.224697
• Title: SeaLLMs -- Large Language Models for Southeast Asia
• Title（参考訳）: SeaLLMs - 東南アジア向け大規模言語モデル
• Authors: Xuan-Phi Nguyen, Wenxuan Zhang, Xin Li, Mahani Aljunied, Zhiqiang Hu, Chenhui Shen, Yew Ken Chia, Xingxuan Li, Jianyu Wang, Qingyu Tan, Liying Cheng, Guanzheng Chen, Yue Deng, Sen Yang, Chaoqun Liu, Hang Zhang, Lidong Bing,
• Abstract要約: 東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。 包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
• 参考スコア（独自算出の注目度）: 76.50157503379086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable achievements of large language models (LLMs) in various tasks, there remains a linguistic bias that favors high-resource languages, such as English, often at the expense of low-resource and regional languages. To address this imbalance, we introduce SeaLLMs, an innovative series of language models that specifically focuses on Southeast Asian (SEA) languages. SeaLLMs are built upon the Llama-2 model and further advanced through continued pre-training with an extended vocabulary, specialized instruction and alignment tuning to better capture the intricacies of regional languages. This allows them to respect and reflect local cultural norms, customs, stylistic preferences, and legal considerations. Our comprehensive evaluation demonstrates that SeaLLM-13b models exhibit superior performance across a wide spectrum of linguistic tasks and assistant-style instruction-following capabilities relative to comparable open-source models. Moreover, they outperform ChatGPT-3.5 in non-Latin languages, such as Thai, Khmer, Lao, and Burmese, by large margins while remaining lightweight and cost-effective to operate.
• Abstract（参考訳）: 様々なタスクにおける大きな言語モデル(LLM)の顕著な成果にもかかわらず、低リソース言語や地域言語を犠牲にして、英語のような高リソース言語を好む言語バイアスが残っている。 この不均衡に対処するために,東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令およびアライメントチューニングにより、地域言語の複雑さをよりよく捉えるために、継続する事前訓練を通じてさらに進歩している。 これにより、彼らは地元の文化規範、慣習、様式的嗜好、法的配慮を尊重し、反映することができる。 包括的評価の結果,SeaLLM-13bモデルでは,言語タスクの幅広い範囲で性能が向上し,オープンソースモデルと比較してアシスタントスタイルの命令追従能力が向上していることがわかった。 さらに、タイ語、クメール語、ラオス語、ビルマ語などの非ラテン言語ではChatGPT-3.5を、軽量で費用対効果が保たれながら大きなマージンで上回っている。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• Compass: Large Multilingual Language Model for South-east Asia [0.0]
  CompassLLMは東南アジアの言語に特化した多言語モデルである。 我々のモデルはインドネシア語のような東南アジアの言語で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:48:33Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• Sabi\'a: Portuguese Large Language Models [14.801853435122908]
  対象言語における単言語事前学習は,すでに多種多様なコーパスで訓練されているモデルを大幅に改善することを示した。 ポルトガルの14のデータセットからなるスイートであるPoetaに関するわずかな評価によると、我々のモデルは、英語と多言語で比較すると、かなり差がある。
  論文  参考訳（メタデータ） (2023-04-16T20:11:19Z)
• Evaluating Transferability of BERT Models on Uralic Languages [0.0]
  BERTのようなトランスフォーマーベースの言語モデルは、多くの英語ベンチマークで以前のモデルより優れている。 エストニア語、フィンランド語、ハンガリー語、エルツィア語、モクシャ語、カレリア語、リヴヴィ語、コミ・ペルミーク語、コミ・ジリアン語、北サーミ語、スコルト・サーミ語などの言語について、単言語、多言語、ランダムに評価した。
  論文  参考訳（メタデータ） (2021-09-13T21:10:29Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。