論文の概要: Large Malaysian Language Model Based on Mistral for Enhanced Local Language Understanding

• arxiv url: http://arxiv.org/abs/2401.13565v3
• Date: Sun, 4 Feb 2024 06:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 02:55:39.355979
• Title: Large Malaysian Language Model Based on Mistral for Enhanced Local Language Understanding
• Title（参考訳）: ミストラルに基づく局所言語理解のための大規模マレーシア語モデル
• Authors: Husein Zolkepli, Aisyah Razak, Kamarul Adha, Ariff Nazhan
• Abstract要約: 大規模言語モデルであるMistral 7Bの事前学習の進歩を示す。 コンテクスト長4096と32768のトークンを持つモデルをリリースし、16384のコンテクスト長調整モデルでさらなる性能向上を図る。 マレーシアのミストラルがタタバハサ(マレー文法)テストセットで優れていることを示す説得力のある結果を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present significant advancements in the pretraining of Mistral 7B, a large-scale language model, using a dataset of 32.6 GB, equivalent to 1.1 billion tokens. We explore the impact of extending the context length, releasing models with context lengths of 4096 and 32768 tokens, and further refining performance with a specialized 16384 context length instruction-tuned model, we called it Malaysian Mistral. Our experiments demonstrate the efficacy of continue pretraining and the influence of extended context lengths on Mistral 7B's language understanding capabilities. Additionally, we release a model specifically tuned with a 16384 context length instruction, showcasing its potential for capturing nuanced language intricacies. Furthermore, our research contributes to the benchmarking of Malaysian Mistral against prominent language models, including ChatGPT3.5 and Claude 2. We present compelling results indicating Malaysian Mistral's superior performance on Tatabahasa (Malay grammar) test set, particularly when fine-tuned with instructions. All models released at https://huggingface.co/collections/mesolitica/malaysian-mistral-7b-6528f2ec825f4bba46c1700c
• Abstract（参考訳）: 本稿では,11億トークンに相当する32.6GBのデータセットを用いて,大規模言語モデルであるMistral 7Bの事前訓練の大幅な進歩を示す。 我々は,コンテキスト長の拡張,コンテキスト長4096および32768トークンのモデルのリリース,および特別な16384コンテキスト長命令調整モデルによるさらなる改良性能について検討し,マレーシアミストラルと呼ぶ。 本実験は,Mistral 7B言語理解能力に対する継続事前学習の有効性と拡張文脈長の影響を実証した。 さらに、16384のコンテキスト長命令を特別に調整したモデルをリリースし、ニュアンス言語を複雑に捉えられる可能性を示した。 さらに本研究では,ChatGPT3.5やClaude 2などの著名な言語モデルに対するマレーシアのMistralのベンチマークに寄与する。 マレーシアのミストラルがタタバハサ(マレー文法)検定において,特に指示を微調整した場合に優れた性能を示した。 すべてのモデルがhttps://huggingface.co/collections/mesolitica/malaysian-mistral-7b-6528f2ec825f4bba46c1700cでリリース

関連論文リスト

• Feriji: A French-Zarma Parallel Corpus, Glossary & Translator [3.3073775218038883]
  本稿では,機械翻訳用に設計された最初のロバストなフレンチ・ザーマ並列コーパスと用語集であるFerijiを紹介する。 我々はデータセット上で3つの大きな言語モデルを微調整し、最高の性能モデルでBLEUスコア30.06を得る。
  論文  参考訳（メタデータ） (2024-06-09T19:08:33Z)
• Aya 23: Open Weight Releases to Further Multilingual Progress [47.673416416949145]
  Aya 23は、Ayaモデルの最新リリース("Ust"un et al., 2024)の上に構築されており、高性能で事前訓練されたモデルと、最近リリースされたAyaコレクションとのペアリングに焦点を当てている。 その結果、23の言語を提供する強力な多言語大言語モデルとなり、最先端の言語モデリング能力を世界の人口の約半分にまで拡張した。
  論文  参考訳（メタデータ） (2024-05-23T20:10:38Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• MaLLaM -- Malaysia Large Language Model [0.0]
  私たちは、349GBのデータセットで11億、30億、50億のパラメータを持つモデルをトレーニングしました。 MaLLaMは、マレー語における自然言語理解と生成タスクの強化に貢献している。
  論文  参考訳（メタデータ） (2024-01-26T06:56:05Z)
• SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
  東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。 包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-12-01T17:17:56Z)
• Assessing Translation capabilities of Large Language Models involving English and Indian Languages [4.067706269490143]
  機械翻訳を英語と22のインド語を含む課題として用いて,大規模言語モデルの多言語的機能について検討する。 パラメータ効率のよいLoRAなどの微調整手法と,さらに完全な微調整を併用して,これらの大規模言語モデルを微調整する。 その結果,平均BLEUスコアは13.42,15.93,12.13,12.30,12.07,CHRFスコアは43.98,46.99,42.55,42.42,45.39であった。
  論文  参考訳（メタデータ） (2023-11-15T18:58:19Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Mistral 7B [62.17530433867458]
  Mistral 7Bはすべての評価ベンチマークでLlama 2 13B、推論、数学、コード生成でLlama 1 34Bを上回っている。 また、命令に従うように微調整されたモデルも提供します。 Mistral 7B -- Instructは、Llama 2 13Bを越え、人間と自動化ベンチマークの両方でチャットモデルを提供します。
  論文  参考訳（メタデータ） (2023-10-10T17:54:58Z)
• Sabi\'a: Portuguese Large Language Models [14.801853435122908]
  対象言語における単言語事前学習は,すでに多種多様なコーパスで訓練されているモデルを大幅に改善することを示した。 ポルトガルの14のデータセットからなるスイートであるPoetaに関するわずかな評価によると、我々のモデルは、英語と多言語で比較すると、かなり差がある。
  論文  参考訳（メタデータ） (2023-04-16T20:11:19Z)
• SERENGETI: Massively Multilingual Language Models for Africa [5.945320097465418]
  SERENGETIは517のアフリカの言語と言語を包含する多言語言語モデルである。 我々は、20のデータセットにまたがる8つの自然言語理解タスクに関する新しいモデルを評価し、4-23のアフリカの言語をカバーする4mPLMと比較した。
  論文  参考訳（メタデータ） (2022-12-21T05:54:14Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。