論文の概要: VinaLLaMA: LLaMA-based Vietnamese Foundation Model
- arxiv url: http://arxiv.org/abs/2312.11011v1
- Date: Mon, 18 Dec 2023 08:27:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:53:51.004659
- Title: VinaLLaMA: LLaMA-based Vietnamese Foundation Model
- Title(参考訳): VinaLLaMA:LLaMAベースのベトナム財団モデル
- Authors: Quan Nguyen, Huy Pham and Dung Dao
- Abstract要約: VinaLLaMAはベトナム語のためのオープンウェイトで最先端のSOTA(Large Language Model)である。
100万の高品質な合成サンプルをトレーニングしたVinaLLaMA-7B-chatは、VLSP、VMLU、Vicuna Benchmark Vietnamを含む主要なベンチマークでSOTA結果を得る。
- 参考スコア(独自算出の注目度): 4.531874270358511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this technical report, we present VinaLLaMA, an open-weight,
state-of-the-art (SOTA) Large Language Model for the Vietnamese language, built
upon LLaMA-2 with an additional 800 billion trained tokens. VinaLLaMA not only
demonstrates fluency in Vietnamese but also exhibits a profound understanding
of Vietnamese culture, making it a truly indigenous model. VinaLLaMA-7B-chat,
trained on 1 million high-quality synthetic samples, achieves SOTA results on
key benchmarks, including VLSP, VMLU, and Vicuna Benchmark Vietnamese, marking
a significant advancement in the Vietnamese AI landscape and offering a
versatile resource for various applications.
- Abstract(参考訳): 本稿では,ベトナム語のためのオープンウェイトで最先端(SOTA)な大規模言語モデルであるVinaLLaMAについて紹介する。
VinaLLaMAはベトナムの流行を示すだけでなく、ベトナム文化の深い理解も示しており、真に固有のモデルとなっている。
100万の高品質な合成サンプルに基づいてトレーニングされたVinaLLaMA-7B-chatは、VLSP、VMLU、Vicuna Benchmark Vietnamといった主要なベンチマークでSOTA結果を達成する。
関連論文リスト
- ViLLM-Eval: A Comprehensive Evaluation Suite for Vietnamese Large Language Models [0.0]
ViLLM-Evalは、基礎モデルの高度な知識と推論能力を測定するために設計された総合的な評価スイートである。
ViLLM-Eval上での最も先進的なLCMの徹底的な評価により、最高の性能のモデルでさえ改善の余地があることが判明した。
論文 参考訳(メタデータ) (2024-04-17T05:57:17Z) - LaVy: Vietnamese Multimodal Large Language Model [0.0]
LLM(Large Language Models)とMLLM(Multimodal Large Language Models)は、複雑な推論と言語理解において印象的な能力を持つ嵐によって世界を席巻している。
ベトナムの大規模言語モデルに関連する作品が多数あり、マルチモーダリティにおける高品質な資源の欠如はベトナムのMLLMの進歩を妨げている。
本稿では,現在最先端のベトナム語MLLMであるLaVyを導入することでこの問題に対処し,また,MLLMのベトナム語視覚言語タスクに対する理解を評価するためのLaVy-Benchベンチマークも導入する。
論文 参考訳(メタデータ) (2024-04-11T17:09:28Z) - Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model [49.58285399644457]
2B大言語モデル(LLM)であるCT-LLMを導入する。
CT-LLMは、スクラッチから一意に開始され、中国語のテキストデータを組み込んで従来の手法から分岐する。
CT-LLMは中国語のタスクに優れており、SFTを通して英語で適応性を示す。
論文 参考訳(メタデータ) (2024-04-05T15:20:02Z) - VLUE: A New Benchmark and Multi-task Knowledge Transfer Learning for Vietnamese Natural Language Understanding [1.813644606477824]
本稿ではベトナム語理解評価(VLUE)ベンチマークについて紹介する。
VLUEベンチマークは、テキスト分類、スパン抽出、自然言語理解など、異なるNLUタスクをカバーする5つのデータセットを含んでいる。
提案するCafeBERTは,VLUEベンチマークのすべてのタスクにおいて優れた結果が得られる,最先端の事前訓練モデルである。
論文 参考訳(メタデータ) (2024-03-23T16:26:49Z) - Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training [0.0]
vi-mistral-xはベトナム語用に特別に設計された革新的な大規模言語モデルである。
これはMistralアーキテクチャに基づいた、継続事前トレーニングのユニークな方法を利用している。
既存のベトナムのLLMを、テキスト分類、質問応答、テキスト生成など、いくつかの重要な領域で上回っていることが示されている。
論文 参考訳(メタデータ) (2024-03-20T10:14:13Z) - YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。
YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。
ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文 参考訳(メタデータ) (2023-12-22T17:34:47Z) - SeaLLMs -- Large Language Models for Southeast Asia [67.89986877809292]
東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。
SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。
包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
論文 参考訳(メタデータ) (2023-12-01T17:17:56Z) - ViSoBERT: A Pre-Trained Language Model for Vietnamese Social Media Text
Processing [1.1765925931670576]
ベトナムのソーシャルメディアテキストであるViSoBERTに対して,最初のモノリンガル事前学習言語モデルを提案する。
我々の実験では、ViSoBERTはパラメータがはるかに少ないため、ベトナムのソーシャルメディアタスクにおける過去の最先端モデルを上回ることが示されている。
論文 参考訳(メタデータ) (2023-10-17T11:34:50Z) - Baichuan 2: Open Large-scale Language Models [51.56361715162972]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳(メタデータ) (2023-09-19T04:13:22Z) - Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for
Pre-training and Benchmarks [63.09588102724274]
中国最大の高品質ビデオ言語データセットであるYouku-mPLUGをリリースする。
Youku-mPLUGには、大規模な事前トレーニングのための45のさまざまなカテゴリにわたる4億の生のビデオからフィルタリングされた1000万の中国製ビデオテキストペアが含まれている。
我々は、クロスモーダル検索、ビデオキャプション、ビデオカテゴリ分類の3つの一般的なビデオ言語タスクをカバーする、人手による最大のベンチマークを構築した。
論文 参考訳(メタデータ) (2023-06-07T11:52:36Z) - Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
多言語変換器(MMT)は多言語間変換学習に広く用いられている。
MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。
本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
論文 参考訳(メタデータ) (2023-06-02T17:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。