論文の概要: RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs

• arxiv url: http://arxiv.org/abs/2407.02552v1
• Date: Tue, 2 Jul 2024 17:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 18:43:42.924490
• Title: RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs
• Title（参考訳）: RLHFは多くの言語を話せる: LLMの多言語推論最適化をアンロックする
• Authors: John Dang, Arash Ahmadian, Kelly Marchisio, Julia Kreutzer, Ahmet Üstün, Sara Hooker,
• Abstract要約: 高品質な多言語フィードバックデータを生成するための,新しいスケーラブルな手法を提案する。 我々の選好訓練モデルはAya 23 8Bに対して54.4%の勝利率を達成した。 その結果,世界の人口の半分をカバーする23言語にアライメント手法のフロンティアを広げた。
• 参考スコア（独自算出の注目度）: 13.563021984882704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization techniques have become a standard final stage for training state-of-art large language models (LLMs). However, despite widespread adoption, the vast majority of work to-date has focused on first-class citizen languages like English and Chinese. This captures a small fraction of the languages in the world, but also makes it unclear which aspects of current state-of-the-art research transfer to a multilingual setting. In this work, we perform an exhaustive study to achieve a new state-of-the-art in aligning multilingual LLMs. We introduce a novel, scalable method for generating high-quality multilingual feedback data to balance data coverage. We establish the benefits of cross-lingual transfer and increased dataset size in preference training. Our preference-trained model achieves a 54.4% win-rate against Aya 23 8B, the current state-of-the-art multilingual LLM in its parameter class, and a 69.5% win-rate or higher against widely used models like Gemma-1.1-7B-it, Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3. As a result of our study, we expand the frontier of alignment techniques to 23 languages covering half of the world's population.
• Abstract（参考訳）: 優先度最適化技術は、最先端の大規模言語モデル(LLM)を訓練するための標準的な最終段階となっている。 しかし、広く普及しているにもかかわらず、これまでの作業の大部分は英語や中国語のような一流の市民言語に焦点を当ててきた。 これは世界の少数の言語をとらえるだけでなく、現在の最先端の研究のどの側面が多言語化されているのかもはっきりしない。 本研究では,多言語LLMの整列化における新しい最先端技術を実現するために,徹底的な研究を行う。 本稿では,データカバレッジのバランスをとるために,高品質な多言語フィードバックデータを生成する,新しいスケーラブルな手法を提案する。 嗜好学習において、言語間移動とデータセットサイズの増加の利点を確立する。 我々の嗜好学習モデルは、Aya 23 8Bに対する54.4%の勝利率、そのパラメータクラスにおける最先端多言語LLM、Gemma-1.1-7B-it、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3といった広く使われているモデルに対する69.5%以上の勝利率を達成する。 その結果,世界の人口の半分をカバーする23言語にアライメント手法のフロンティアを広げた。

関連論文リスト

• Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language [34.54405113575568]
  1つの高品質なソース言語から機械翻訳されたテキストは、多言語モデルの事前学習に大きく貢献する。 クアトロLLMは、クローズドデータを用いて訓練された最先端の多言語モデルと一致し、より優れることを示す。 私たちは、hf.co/britllm/CuatroLLMでオープンライセンスの下で、コーパス、モデル、トレーニングパイプラインをリリースしています。
  論文  参考訳（メタデータ） (2024-10-31T14:09:50Z)
• X-ALMA: Plug & Play Modules and Adaptive Rejection for Quality Translation at Scale [25.257770733168012]
  大規模言語モデル(LLM)は、様々なNLPタスクで顕著な成功を収めてきたが、主に英語に焦点を当てている。 本稿では,多言語機械翻訳タスクに着目し,言語数よりも品質を優先する。 X-ALMAは、リソースレベルに関係なく、50の異なる言語で最高のパフォーマンスを保証することを約束するモデルである。
  論文  参考訳（メタデータ） (2024-10-04T03:17:27Z)
• FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data [39.54285525397304]
  We present FuxiTranyu, a open-source multilingual model for large language model (LLMs)。 ベースモデルであるFuxiTranyu-8Bは80億のパラメータを持ち、微妙にバランスの取れた多言語データに基づいてスクラッチから訓練されている。 幅広い多言語ベンチマークの実験は、フキシトラユの競争性能を実証している。
  論文  参考訳（メタデータ） (2024-08-12T16:34:56Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• SambaLingo: Teaching Large Language Models New Languages [16.709876506515837]
  我々は,LLMの新たな言語への適応に関する包括的調査を行う。 本研究は,語彙拡張や直接選好最適化など,このプロセスの主要なコンポーネントについて述べる。 9つの言語と2つのパラメータスケールでこれらの実験をスケールします。
  論文  参考訳（メタデータ） (2024-04-08T19:48:36Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)
• Multilingual Speech Translation with Efficient Finetuning of Pretrained Models [82.22294901727933]
  最小限のLNA(LayerNorm and Attention)ファインタニングは、ゼロショットのクロスリンガルおよびクロスモーダリティ転送能力を実現することができる。 本手法は多言語多言語モデルにおいて強いゼロショット性能を示す。
  論文  参考訳（メタデータ） (2020-10-24T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。