論文の概要: Salamandra Technical Report

• arxiv url: http://arxiv.org/abs/2502.08489v2
• Date: Thu, 13 Feb 2025 17:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:03.592663
• Title: Salamandra Technical Report
• Title（参考訳）: Salamandra 技術報告
• Authors: Aitor Gonzalez-Agirre, Marc Pàmies, Joan Llop, Irene Baucells, Severino Da Dalt, Daniel Tamayo, José Javier Saiz, Ferran Espuña, Jaume Prats, Javier Aula-Blasco, Mario Mina, Iñigo Pikabea, Adrián Rubio, Alexander Shvets, Anna Sallés, Iñaki Lacunza, Jorge Palomar, Júlia Falcão, Lucía Tormo, Luis Vasquez-Reina, Montserrat Marimon, Oriol Pareras, Valle Ruiz-Fernández, Marta Villegas,
• Abstract要約: Salamandraは,2,7,400億のパラメータの3つのサイズで利用可能な,デコーダのみの大規模言語モデルのスイートである。 モデルは、35のヨーロッパ言語とコードのテキストを含む多言語データに基づいて、スクラッチからトレーニングされた。
• 参考スコア（独自算出の注目度）: 27.291503904557263
• License:
• Abstract: This work introduces Salamandra, a suite of open-source decoder-only large language models available in three different sizes: 2, 7, and 40 billion parameters. The models were trained from scratch on highly multilingual data that comprises text in 35 European languages and code. Our carefully curated corpus is made exclusively from open-access data compiled from a wide variety of sources. Along with the base models, supplementary checkpoints that were fine-tuned on public-domain instruction data are also released for chat applications. Additionally, we also share our preliminary experiments on multimodality, which serve as proof-of-concept to showcase potential applications for the Salamandra family. Our extensive evaluations on multilingual benchmarks reveal that Salamandra has strong capabilities, achieving competitive performance when compared to similarly sized open-source models. We provide comprehensive evaluation results both on standard downstream tasks as well as key aspects related to bias and safety.With this technical report, we intend to promote open science by sharing all the details behind our design choices, data curation strategy and evaluation methodology. In addition to that, we deviate from the usual practice by making our training and evaluation scripts publicly accessible. We release all models under a permissive Apache 2.0 license in order to foster future research and facilitate commercial use, thereby contributing to the open-source ecosystem of large language models.
• Abstract（参考訳）: オープンソースのデコーダのみの大規模言語モデルのスイートであるSaramandraを,2,7,400億という3つのサイズで紹介する。 モデルは、35のヨーロッパ言語とコードのテキストを含む多言語データに基づいて、スクラッチからトレーニングされた。 慎重にキュレートされたコーパスは、様々なソースからコンパイルされたオープンアクセスデータから作られる。 ベースモデルとともに、パブリックドメインの命令データに基づいて微調整された補足チェックポイントも、チャットアプリケーション向けにリリースされている。 さらに、我々は、サラマンドラ族に対する潜在的な応用を示すための概念実証として機能するマルチモーダリティに関する予備実験も共有する。 マルチリンガルベンチマークの広範な評価から,Saramandraには強力な能力があり,同様の規模のオープンソースモデルと比較すると,競争性能が向上することがわかった。 本技術報告では, 設計選択やデータキュレーション戦略, 評価方法論の背景にある詳細をすべて共有し, オープンサイエンスの推進を図る。 それに加えて、トレーニングや評価スクリプトを公開して、通常のプラクティスから逸脱する。 すべてのモデルをパーミッシブなApache 2.0ライセンスでリリースし、将来の研究を促進し、商用利用を促進するため、大きな言語モデルのオープンソースエコシステムに貢献します。

関連論文リスト

• Data-Augmentation-Based Dialectal Adaptation for LLMs [26.72394783468532]
  本稿では, GMUNLPによるVarDial 2024におけるDialect-Copa共有タスクへの参加について述べる。 この課題は、南スラヴ語のマイクロディレクト上での大規模言語モデル(LLM)の常識推論能力を評価することに焦点を当てている。 本稿では,異なるタイプの言語モデルの強みを組み合わせ,データ拡張技術を活用してタスク性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T19:15:32Z)
• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [139.69207791947738]
  ドルマ (Dolma) は、ウェブコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多用した3トリルの英語コーパスである。 我々はDolmaの設計原則、その構築の詳細、内容の要約を含む、Dolmaを文書化します。 我々は、重要なデータキュレーションの実践について学んだことを共有するために、Dolmaの中間状態の分析と実験結果を示す。
  論文  参考訳（メタデータ） (2024-01-31T20:29:50Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Traces of Memorisation in Large Language Models for Code [16.125924759649106]
  コードのための大規模な言語モデルは、一般にインターネットから取り除かれた大量のソースコードコーパスで訓練される。 記憶の速度を、自然言語で訓練された大きな言語モデルと比較する。 コードのための大きな言語モデルは、自然言語のようなデータ抽出攻撃に弱いことが分かりました。
  論文  参考訳（メタデータ） (2023-12-18T19:12:58Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
  我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。 本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
  論文  参考訳（メタデータ） (2022-04-05T17:12:53Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。