Fugu-MT 論文翻訳(概要): Cedille: A large autoregressive French language model

論文の概要: Cedille: A large autoregressive French language model

arxiv url: http://arxiv.org/abs/2202.03371v1
Date: Mon, 7 Feb 2022 17:40:43 GMT
ステータス: 処理完了
システム内更新日: 2022-02-08 16:55:04.041219
Title: Cedille: A large autoregressive French language model
Title（参考訳）: Cedille: 大規模な自己回帰型フランス語モデル
Authors: Martin M\"uller, Florian Laurent
Abstract要約: 私たちはCedilleを紹介します。Cedilleは大規模なオープンソースの自動回帰言語モデルで、特にフランス語のために訓練されています。以上の結果から,Cedille は既存のフランス語モデルより優れており,GPT-3 と競合する。
参考スコア（独自算出の注目度）: 0.21756081703276003
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Scaling up the size and training of autoregressive language models has enabled novel ways of solving Natural Language Processing tasks using zero-shot and few-shot learning. While extreme-scale language models such as GPT-3 offer multilingual capabilities, zero-shot learning for languages other than English remain largely unexplored. Here, we introduce Cedille, a large open source auto-regressive language model, specifically trained for the French language. Our results show that Cedille outperforms existing French language models and is competitive with GPT-3 on a range of French zero-shot benchmarks. Furthermore, we provide an in-depth comparison of the toxicity exhibited by these models, showing that Cedille marks an improvement in language model safety thanks to dataset filtering.
Abstract（参考訳）: 自己回帰型言語モデルのスケールとトレーニングにより、ゼロショット学習と少数ショット学習を用いた自然言語処理タスクの新たな解決方法が実現されている。 gpt-3のような超大規模言語モデルは多言語機能を提供しているが、英語以外の言語のゼロショット学習はほとんど未解明である。ここでは,フランス語用に特別に訓練された大規模オープンソース自動回帰言語モデルであるcedilleを紹介する。以上の結果から,Cedille は既存のフランス語モデルより優れており,GPT-3 と競合する。さらに,これらのモデルが示す毒性の詳細な比較を行い,データセットフィルタリングにより言語モデルの安全性が向上したことを示す。

関連論文リスト

From N-grams to Pre-trained Multilingual Models For Language Identification [0.35760345713831954]
南アフリカの11言語を対象として,N-gramモデルとLarge-trained Multilingual Model for Language Identification (LID)について検討した。 N-gramモデルでは、対象言語の効果的な周波数分布を確立するためには、有効なデータサイズ選択が不可欠であることを示す。我々は,SerengetiがN-gramsからTransformerに平均して優れたモデルであることを示す。
論文参考訳（メタデータ） (2024-10-11T11:35:57Z)
Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
論文参考訳（メタデータ） (2024-02-03T10:41:05Z)
CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
論文参考訳（メタデータ） (2024-02-01T17:17:55Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Sabi\'a: Portuguese Large Language Models [14.801853435122908]
対象言語における単言語事前学習は,すでに多種多様なコーパスで訓練されているモデルを大幅に改善することを示した。ポルトガルの14のデータセットからなるスイートであるPoetaに関するわずかな評価によると、我々のモデルは、英語と多言語で比較すると、かなり差がある。
論文参考訳（メタデータ） (2023-04-16T20:11:19Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
論文参考訳（メタデータ） (2022-04-15T13:02:33Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
PAGnol: An Extra-Large French Generative Model [53.40189314359048]
本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
論文参考訳（メタデータ） (2021-10-16T11:44:23Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
On the Multilingual Capabilities of Very Large-Scale English Language Models [0.0]
GPT(Generative Pre-trained Transformer)は、機械学習の歴史において、前例のない規模に拡張されている。本研究では,GPT-3の多言語的スキルについて検討し,事前学習用コーパスであるカタルーニャ語にはほとんど現れない1つの言語に着目した。このモデルでは、特に生成タスクにおいて、主に言語理解タスクでは予測可能な制限があるが、ゼロショットシナリオでは顕著な結果が得られる。
論文参考訳（メタデータ） (2021-08-30T16:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。