論文の概要: LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback

• arxiv url: http://arxiv.org/abs/2406.01771v1
• Date: Mon, 3 Jun 2024 20:25:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:52:25.169384
• Title: LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback
• Title（参考訳）: LLMs Beyond English: Multilingual Capability of LLMs with Cross-Lingual Feedback (英語)
• Authors: Wen Lai, Mohsen Mesgar, Alexander Fraser,
• Abstract要約: 我々はLLaMAとBLOOMの多言語機能を100言語に拡張するxLLMs-100を紹介する。 5つの多言語ベンチマークでxLLMs-100の多言語理解と生成能力を評価する。
• 参考スコア（独自算出の注目度）: 61.23008372927665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To democratize large language models (LLMs) to most natural languages, it is imperative to make these models capable of understanding and generating texts in many languages, in particular low-resource ones. While recent multilingual LLMs demonstrate remarkable performance in such capabilities, these LLMs still support a limited number of human languages due to the lack of training data for low-resource languages. Moreover, these LLMs are not yet aligned with human preference for downstream tasks, which is crucial for the success of LLMs in English. In this paper, we introduce xLLaMA-100 and xBLOOM-100 (collectively xLLMs-100), which scale the multilingual capabilities of LLaMA and BLOOM to 100 languages. To do so, we construct two datasets: a multilingual instruction dataset including 100 languages, which represents the largest language coverage to date, and a cross-lingual human feedback dataset encompassing 30 languages. We perform multilingual instruction tuning on the constructed instruction data and further align the LLMs with human feedback using the DPO algorithm on our cross-lingual human feedback dataset. We evaluate the multilingual understanding and generating capabilities of xLLMs-100 on five multilingual benchmarks. Experimental results show that xLLMs-100 consistently outperforms its peers across the benchmarks by considerable margins, defining a new state-of-the-art multilingual LLM that supports 100 languages.
• Abstract（参考訳）: 大規模言語モデル(LLM)をほとんどの自然言語に民主化するためには、これらのモデルを多くの言語、特に低リソース言語におけるテキストの理解と生成を可能にすることが不可欠である。 近年の多言語 LLM はそのような能力において顕著な性能を示したが、低リソース言語のトレーニングデータが不足しているため、これらの LLM は限られた数の人間言語をサポートしている。 さらに、これらのLLMは、英語でのLLMの成功に欠かせない下流タスクに対する人間の嗜好と整合していない。 本稿では,LLaMAとBLOOMの多言語対応能力を100言語に拡張したxLLaMA-100とxBLOOM-100を紹介する。 そこで我々は,これまでで最大規模の言語カバレッジを示す100言語を含む多言語命令データセットと,30言語を含む言語間フィードバックデータセットの2つのデータセットを構築した。 我々は、構築した命令データに基づいて多言語命令チューニングを行い、さらにDPOアルゴリズムを用いて人間のフィードバックとLLMを一致させる。 5つの多言語ベンチマークでxLLMs-100の多言語理解と生成能力を評価する。 実験結果から、xLLMs-100は100言語をサポートする新しい最先端の多言語LLMを定義することにより、ベンチマーク全体のピアをかなりのマージンで一貫して上回っていることがわかった。

関連論文リスト

• LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages [36.52198103816494]
  LLM(Large Language Models)は、オープンソースの言語タスクにおいて顕著な翻訳能力を示す。 しかし、低リソース言語におけるそれらの性能は、事前トレーニング中に不十分な多言語データによって妨げられている。 我々はLLaMAシリーズモデルで多言語連続事前学習を行い、100言語以上にわたる翻訳支援を可能にした。
  論文  参考訳（メタデータ） (2024-07-08T14:18:28Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training [29.47243668154796]
  BLOOMZMMSは多言語LLMと多言語音声エンコーダを統合する新しいモデルである。 本稿では,言語知識のテキストから音声モダリティへの伝達性を示す。 ゼロショット評価の結果は、複数のタスクにまたがるアプローチの堅牢性を確認します。
  論文  参考訳（メタデータ） (2024-04-16T21:45:59Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。