Fugu-MT 論文翻訳(概要): PhoGPT: Generative Pre-training for Vietnamese

論文の概要: PhoGPT: Generative Pre-training for Vietnamese

arxiv url: http://arxiv.org/abs/2311.02945v1
Date: Mon, 6 Nov 2023 08:26:14 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 14:59:28.714334
Title: PhoGPT: Generative Pre-training for Vietnamese
Title（参考訳）: PhoGPT: ベトナムのためのジェネレーティブプレトレーニング
Authors: Dat Quoc Nguyen, Linh The Nguyen, Chi Tran, Dung Ngoc Nguyen, Nhung Nguyen, Thien Huu Nguyen, Dinh Phung, Hung Bui
Abstract要約: 我々はベトナム語でPhoGPTという,最先端の7.5Bパラメータ生成モデルシリーズをオープンソース化した。また,人間の評価実験により,従来のオープンソースモデルと比較して優れた性能を示す。
参考スコア（独自算出の注目度）: 40.40540862112174
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We open-source a state-of-the-art 7.5B-parameter generative model series named PhoGPT for Vietnamese, which includes the base pre-trained monolingual model PhoGPT-7B5 and its instruction-following variant, PhoGPT-7B5-Instruct. In addition, we also demonstrate its superior performance compared to previous open-source models through a human evaluation experiment. GitHub: https://github.com/VinAIResearch/PhoGPT
Abstract（参考訳）: pogpt for vietnamという,事前学習された単言語モデルであるphogpt-7b5とその命令追従型であるphogpt-7b5-instructを含む,最先端の7.5bパラメータ生成モデルシリーズをオープンソース化した。また,人間の評価実験により,従来のオープンソースモデルと比較して優れた性能を示す。 GitHub: https://github.com/VinAIResearch/PhoGPT

関連論文リスト

Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level [50.897438358317686]
また, iLR-DPOは, 冗長性を増大させることなく, GPT-4と同等の7Bモデルを実現できることを示した。具体的には、我々の7Bモデルは、AlpacaEval 2.0で$texttGPT-4 Preview$に対して50.5%の利益率を達成する。
論文参考訳（メタデータ） (2024-06-17T17:55:38Z)
Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese [36.3163608701382]
GPT-4に基づく効率的な自己指示法を提案する。まず、少量の英語の指示を日本語に翻訳し、それを後編集して、ネイティブレベルの品質を得る。 GPT-4はそれらをデモとして利用し、日本語の命令データを自動的に生成する。
論文参考訳（メタデータ） (2024-03-06T13:17:07Z)
Shepherd: A Critic for Language Model Generation [72.24142023628694]
Shepherdは、応答を批判し、改善を提案するために特別に調整された言語モデルである。このアプローチのコアとなるのは、コミュニティからのフィードバックと人間のアノテーションからキュレートした、高品質なフィードバックデータセットです。人間の評価では、Shepherdは他のモデルを厳密に上回り、ChatGPTと密接な関係にある。
論文参考訳（メタデータ） (2023-08-08T21:23:23Z)
QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文参考訳（メタデータ） (2023-05-23T17:50:33Z)
Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文参考訳（メタデータ） (2023-05-15T06:24:45Z)
Visual Instruction Tuning [79.70923292053097]
本稿では,言語のみの GPT-4 を用いてマルチモーダルな言語イメージ命令追跡データを生成する試みについて紹介する。このようなデータに対して,LLaVA: Large Language and Vision Assistantを導入する。科学QAを微調整すると、LLaVAとGPT-4の相乗効果は92.53%の新しい最先端精度を達成する。
論文参考訳（メタデータ） (2023-04-17T17:59:25Z)
ViDeBERTa: A powerful pre-trained language model for Vietnamese [10.000783498978604]
本稿ではベトナム語のための単言語モデルViDeBERTaについて述べる。 ViDeBERTa_xsmall、ViDeBERTa_base、ViDeBERTa_largeの3つのバージョンは、高品質で多様なベトナム語テキストの大規模コーパスで事前訓練されている。我々は,3つの重要な自然言語下流タスク,パート・オブ・音声タギング,名前付き親和性認識,質問応答を微調整し,評価する。
論文参考訳（メタデータ） (2023-01-25T07:26:54Z)
SERENGETI: Massively Multilingual Language Models for Africa [5.945320097465418]
SERENGETIは517のアフリカの言語と言語を包含する多言語言語モデルである。我々は、20のデータセットにまたがる8つの自然言語理解タスクに関する新しいモデルを評価し、4-23のアフリカの言語をカバーする4mPLMと比較した。
論文参考訳（メタデータ） (2022-12-21T05:54:14Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing [8.558842542068778]
PhoNLPと名づけられた最初のマルチタスク学習モデルを提案し,ベトナムの音声合成(POS)タグ付け,エンティティ認識(NER)と依存性解析を行った。ベトナムのベンチマークデータセットの実験は、PhoNLPが最先端の結果を生成することを示している。
論文参考訳（メタデータ） (2021-01-05T12:13:09Z)
PhoBERT: Pre-trained language models for Vietnamese [11.685916685552982]
PhoBERTはベトナムで事前訓練された最初の大規模モノリンガル言語モデルである。実験結果から, PhoBERT は最新の学習済み多言語モデル XLM-R よりも一貫して優れていた。我々はPhoBERTをリリースし、ベトナムのNLPの今後の研究と下流の応用を促進する。
論文参考訳（メタデータ） (2020-03-02T10:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。