論文の概要: The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation

• arxiv url: http://arxiv.org/abs/2503.12294v1
• Date: Sat, 15 Mar 2025 23:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:36:08.213540
• Title: The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation
• Title（参考訳）: Lucie-7B LLMとLucie Training Dataset:多言語言語生成のためのオープンリソース
• Authors: Olivier Gouvert, Julie Hunter, Jérôme Louradour, Christophe Cerisara, Evan Dufraisse, Yaya Sy, Laura Rivière, Jean-Pierre Lorré, OpenLLM-France community,
• Abstract要約: 本稿では,Lucie TrainingデータセットとLucie-7Bの基礎モデルを紹介する。 Lucie Trainingデータセットは、フランス語を中心としたテキストコーパスの多言語コレクションである。 Lucie-7Bの基礎モデルは、フランス語と英語で同等のデータ量で訓練されている。
• 参考スコア（独自算出の注目度）: 6.233742681348058
• License:
• Abstract: We present both the Lucie Training Dataset and the Lucie-7B foundation model. The Lucie Training Dataset is a multilingual collection of textual corpora centered around French and designed to offset anglo-centric biases found in many datasets for large language model pretraining. Its French data is pulled not only from traditional web sources, but also from French cultural heritage documents, filling an important gap in modern datasets. Beyond French, which makes up the largest share of the data, we added documents to support several other European languages, including English, Spanish, German, and Italian. Apart from its value as a resource for French language and culture, an important feature of this dataset is that it prioritizes data rights by minimizing copyrighted material. In addition, building on the philosophy of past open projects, it is redistributed in the form used for training and its processing is described on Hugging Face and GitHub. The Lucie-7B foundation model is trained on equal amounts of data in French and English -- roughly 33% each -- in an effort to better represent cultural aspects of French-speaking communities. We also describe two instruction fine-tuned models, Lucie-7B-Instruct-v1.1 and Lucie-7B-Instruct-human-data, which we release as demonstrations of Lucie-7B in use. These models achieve promising results compared to state-of-the-art models, demonstrating that an open approach prioritizing data rights can still deliver strong performance. We see these models as an initial step toward developing more performant, aligned models in the near future. Model weights for Lucie-7B and the Lucie instruct models, along with intermediate checkpoints for the former, are published on Hugging Face, while model training and data preparation code is available on GitHub. This makes Lucie-7B one of the first OSI compliant language models according to the new OSI definition.
• Abstract（参考訳）: Lucie Training Dataset と Lucie-7B の基礎モデルの両方を提示する。 Lucie Training Datasetは、フランス語を中心としたテキストコーパスの多言語コレクションであり、大規模な言語モデルの事前トレーニングのために、多くのデータセットで見られるアングロ中心のバイアスをオフセットするように設計されている。 フランスのデータは、伝統的なウェブ資料だけでなく、フランスの文化遺産資料からも抽出されており、現代のデータセットにおいて重要なギャップを埋めている。 最大のシェアを占めるフランス語以外にも、英語、スペイン語、ドイツ語、イタリア語など、他のヨーロッパの言語をサポートするための文書も追加しました。 フランス語と文化のリソースとしての価値とは別に、このデータセットの重要な特徴は、著作権のある資料を最小化することで、データの権利を優先することである。 さらに、過去のオープンソースプロジェクトの哲学に基づいて、トレーニングに使用される形式で再配布され、Hugging FaceとGitHubでその処理が説明されている。 Lucie-7B財団モデルは、フランス語圏の文化的な側面をより良く表現するために、フランス語と英語のデータ(それぞれ約33%)を同じ量でトレーニングしている。 Lucie-7B-Instruct-v1.1 と Lucie-7B-Instruct- Human-data の2つの命令微調整モデルについても述べる。 これらのモデルは最先端モデルと比較して有望な結果を達成し、データの権利を優先するオープンアプローチが依然として強力なパフォーマンスをもたらすことを実証している。 これらのモデルは、近い将来、より高性能で整列したモデルを開発するための最初のステップであると考えています。 Lucie-7BとLucieインストラクションモデルのモデルウェイトと、前者の中間チェックポイントは、Hugging Faceで公開され、モデルトレーニングとデータ準備コードがGitHubで公開されている。 これによりLucie-7BはOSIに準拠した最初の言語モデルとなった。

関連論文リスト

• Multilingual Language Model Pretraining using Machine-translated Data [33.373858866989536]
  高品質なWebデータセットであるFineWeb-Eduを9言語に翻訳する。 TransWebLLMは、クローズドデータを用いて訓練された最先端の多言語モデルに適合し、性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-18T19:27:53Z)
• RedPajama: an Open Dataset for Training Large Language Models [80.74772646989423]
  我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
  論文  参考訳（メタデータ） (2024-11-19T09:35:28Z)
• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• A Few Thousand Translations Go a Long Way! Leveraging Pre-trained Models for African News Translation [25.05948665615943]
  我々は16の言語をカバーする新しいアフリカのニュースコーパスを作成し、そのうち8つの言語は既存の評価データセットには含まれない。 提案手法は,少量の高品質翻訳データに基づいて,事前訓練済みの大規模モデルを微調整することである。
  論文  参考訳（メタデータ） (2022-05-04T12:11:47Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• PAGnol: An Extra-Large French Generative Model [53.40189314359048]
  本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。 スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
  論文  参考訳（メタデータ） (2021-10-16T11:44:23Z)
• Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
  英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。 本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。 英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-07T09:53:02Z)
• BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding [1.7000879291900044]
  私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。 本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。 我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
  論文  参考訳（メタデータ） (2021-01-01T09:28:45Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。