論文の概要: Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier

• arxiv url: http://arxiv.org/abs/2412.04261v1
• Date: Thu, 05 Dec 2024 15:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:23.166781
• Title: Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier
• Title（参考訳）: Aya Expanse: 新たなマルチ言語フロンティアに研究ブレークスルーを組み合わせる
• Authors: John Dang, Shivalika Singh, Daniel D'souza, Arash Ahmadian, Alejandro Salamanca, Madeline Smith, Aidan Peppin, Sungjin Hong, Manoj Govindassamy, Terrence Zhao, Sandra Kublik, Meor Amer, Viraat Aryabumi, Jon Ander Campos, Yi-Chern Tan, Tom Kocmi, Florian Strub, Nathan Grinsztajn, Yannis Flet-Berliac, Acyr Locatelli, Hangyu Lin, Dwarak Talupuru, Bharat Venkitesh, David Cairuz, Bowen Yang, Tim Chung, Wei-Yin Ko, Sylvie Shang Shi, Amir Shukayev, Sammie Bae, Aleksandra Piktus, Roman Castagné, Felipe Cruz-Salinas, Eddie Kim, Lucas Crawhall-Stein, Adrien Morisot, Sudip Roy, Phil Blunsom, Ivan Zhang, Aidan Gomez, Nick Frosst, Marzieh Fadaee, Beyza Ermis, Ahmet Üstün, Sara Hooker,
• Abstract要約: 8Bおよび32Bパラメータ多言語モデルの新世代であるAya Expanseモデルファミリを導入する。 Cohere For AIとCohereでの数年間の研究を活用することで、Aya Expanseは多言語パフォーマンスにおける新たな最先端技術を確立している。 Aya Expanse 8B と 32B が主要なオープンウェイトモデルより優れていることを示すために,23言語に翻訳された Arena-Hard-Auto データセットの評価を行った。
• 参考スコア（独自算出の注目度）: 72.5652085347547
• License:
• Abstract: We introduce the Aya Expanse model family, a new generation of 8B and 32B parameter multilingual language models, aiming to address the critical challenge of developing highly performant multilingual models that match or surpass the capabilities of monolingual models. By leveraging several years of research at Cohere For AI and Cohere, including advancements in data arbitrage, multilingual preference training, and model merging, Aya Expanse sets a new state-of-the-art in multilingual performance. Our evaluations on the Arena-Hard-Auto dataset, translated into 23 languages, demonstrate that Aya Expanse 8B and 32B outperform leading open-weight models in their respective parameter classes, including Gemma 2, Qwen 2.5, and Llama 3.1, achieving up to a 76.6% win-rate. Notably, Aya Expanse 32B outperforms Llama 3.1 70B, a model with twice as many parameters, achieving a 54.0% win-rate. In this short technical report, we present extended evaluation results for the Aya Expanse model family and release their open-weights, together with a new multilingual evaluation dataset m-ArenaHard.
• Abstract（参考訳）: Aya Expanseモデルファミリは、8Bおよび32Bパラメータの多言語モデルであり、モノリンガルモデルの能力に適合または超越した高性能な多言語モデルを開発する上で重要な課題に対処することを目的としている。 Cohere For AIとCohereでの数年間の研究を活用して、データの調停、マルチリンガルな選好トレーニング、モデルマージの進歩により、Aya Expanseはマルチリンガルなパフォーマンスにおける新たな最先端を設定できる。 Aya Expanse 8Bと32Bは、Gemma 2、Qwen 2.5、Llama 3.1を含む各パラメータクラスにおいて、Aya Expanse 8Bと32Bを上回り、勝率76.6%に達することを実証した。 特に、Aya Expanse 32B は Llama 3.1 70B を2倍のパラメータを持つモデルで上回り、54.0%の勝利率を達成した。 本稿では,Aya Expanse モデルファミリに対する拡張評価結果とオープンウェイトのリリース,および新しい多言語評価データセット m-ArenaHard について述べる。

関連論文リスト

• FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data [39.54285525397304]
  We present FuxiTranyu, a open-source multilingual model for large language model (LLMs)。 ベースモデルであるFuxiTranyu-8Bは80億のパラメータを持ち、微妙にバランスの取れた多言語データに基づいてスクラッチから訓練されている。 幅広い多言語ベンチマークの実験は、フキシトラユの競争性能を実証している。
  論文  参考訳（メタデータ） (2024-08-12T16:34:56Z)
• RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs [13.563021984882704]
  高品質な多言語フィードバックデータを生成するための,新しいスケーラブルな手法を提案する。 我々の選好訓練モデルはAya 23 8Bに対して54.4%の勝利率を達成した。 その結果,世界の人口の半分をカバーする23言語にアライメント手法のフロンティアを広げた。
  論文  参考訳（メタデータ） (2024-07-02T17:42:30Z)
• Aya 23: Open Weight Releases to Further Multilingual Progress [47.673416416949145]
  Aya 23は、Ayaモデルの最新リリース("Ust"un et al., 2024)の上に構築されており、高性能で事前訓練されたモデルと、最近リリースされたAyaコレクションとのペアリングに焦点を当てている。 その結果、23の言語を提供する強力な多言語大言語モデルとなり、最先端の言語モデリング能力を世界の人口の約半分にまで拡張した。
  論文  参考訳（メタデータ） (2024-05-23T20:10:38Z)
• Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model [33.87586041774359]
  Ayaは101言語で命令に従う多言語生成言語モデルであり、50%以上が低リソースであると考えられている。 99言語にまたがる多言語evalの最先端性を広げる広範な評価スイートを導入する。 我々は、最適微調整混合物組成、データプルーニング、およびモデルの毒性、バイアス、安全性について詳細な調査を行う。
  論文  参考訳（メタデータ） (2024-02-12T17:34:13Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。