論文の概要: A Recipe of Parallel Corpora Exploitation for Multilingual Large Language Models

• arxiv url: http://arxiv.org/abs/2407.00436v1
• Date: Sat, 29 Jun 2024 13:12:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 03:15:45.259080
• Title: A Recipe of Parallel Corpora Exploitation for Multilingual Large Language Models
• Title（参考訳）: 多言語大言語モデルのための並列コーパス爆発の準備
• Authors: Peiqin Lin, André F. T. Martins, Hinrich Schütze,
• Abstract要約: 最近の研究は、多言語大言語モデルを強化するために並列コーパスを利用する可能性を強調している。 並列コーパスで強化された多言語大言語モデルの性能に及ぼす並列コーパスの品質と量,訓練目標,モデルサイズの影響について検討した。
• 参考スコア（独自算出の注目度）: 64.79218405438871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have highlighted the potential of exploiting parallel corpora to enhance multilingual large language models, improving performance in both bilingual tasks, e.g., machine translation, and general-purpose tasks, e.g., text classification. Building upon these findings, our comprehensive study aims to identify the most effective strategies for leveraging parallel corpora. We investigate the impact of parallel corpora quality and quantity, training objectives, and model size on the performance of multilingual large language models enhanced with parallel corpora across diverse languages and tasks. Our analysis reveals several key insights: (i) filtering noisy translations is essential for effectively exploiting parallel corpora, while language identification and short sentence filtering have little effect; (ii) even a corpus containing just 10K parallel sentences can yield results comparable to those obtained from much larger datasets; (iii) employing only the machine translation objective yields the best results among various training objectives and their combinations; (iv) larger multilingual language models benefit more from parallel corpora than smaller models due to their stronger capacity for cross-task transfer. Our study offers valuable insights into the optimal utilization of parallel corpora to enhance multilingual large language models, extending the generalizability of previous findings from limited languages and tasks to a broader range of scenarios.
• Abstract（参考訳）: 近年の研究では、並列コーパスを利用して多言語大言語モデルを強化し、バイリンガルタスク(例えば機械翻訳)と汎用タスク(例えばテキスト分類)の両方のパフォーマンスを向上させる可能性を強調している。 本研究は,これらの知見に基づいて,並列コーパスを利用するための最も効果的な戦略を特定することを目的としている。 パラレルコーパスの品質と量,訓練目標,モデルサイズが多言語多言語大言語モデルの性能に及ぼす影響について検討した。 私たちの分析では、いくつかの重要な洞察が浮かび上がっています。 二 並列コーパスを効果的に活用するためには、フィルタリングノイズ翻訳が不可欠であるが、言語識別及び短文フィルタリングは、ほとんど効果がない。 (ii) わずか10Kのパラレル文を含むコーパスでさえ、はるかに大きなデータセットから得られた結果に匹敵する結果が得られる。 三 機械翻訳目的のみを用いることで、各種の訓練目的及びそれらの組み合わせにおいて、最良の結果が得られること。 (4)より大きい多言語言語モデルは、クロスタスク転送の能力が強いため、より小さなモデルよりも並列コーパスの恩恵を受ける。 本研究は,多言語大言語モデルを改善するために並列コーパスの最適利用に関する貴重な知見を提供し,限られた言語やタスクから幅広いシナリオまで,過去の発見の一般化可能性を広げるものである。

関連論文リスト

• Relay Decoding: Concatenating Large Language Models for Machine Translation [21.367605327742027]
  我々はRD(Relay Decoding)と呼ばれる革新的なアプローチを提案し、ソースとターゲット言語を個別にサポートする2つの異なる大規模モデルを結合する。 これら2つのモデル間の接続を容易にするための単純なマッピング層を導入し、訓練に限られた並列データを活用することにより、機械翻訳タスクにおいて優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-05-05T13:42:25Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Contextual Code Switching for Machine Translation using Language Models [1.4866655830571935]
  大規模言語モデル(LLM)は近年,多種多様な言語関連タスクに多大な影響を与えている。 本稿では,複数のLLMを比較した機械翻訳タスクに特化して,コード切替タスクについて広範な研究を行う。 以上の結果から,LLMは特定のタスクに有望な結果をもたらすにもかかわらず,機械翻訳タスクにおける多言語大言語モデルよりも比較的少ない複雑性を持つモデルの方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2023-12-20T16:40:33Z)
• Cross-Lingual Supervision improves Large Language Models Pre-training [36.932380291416365]
  自己教師型言語モデリング目標と教師型機械翻訳目標の混合による事前学習により,文脈内学習能力のよいモデルが得られることを示す。 事前学習は非常に資源集約的なプロセスであり、2つの目標間の最良の混合比のグリッド探索は違法にコストがかかるため、事前学習時に学習するためのシンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-19T16:14:07Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora [21.78571365050787]
  ERNIE-Mは、複数の言語の表現をモノリンガルコーパスと整合させる新しいトレーニング手法である。 単言語コーパス上で擬似並列文ペアを生成し、異なる言語間のセマンティックアライメントの学習を可能にする。 実験結果から,ERNIE-Mは既存の言語間モデルよりも優れており,様々な言語間下流タスクに対して新たな最先端結果を提供することがわかった。
  論文  参考訳（メタデータ） (2020-12-31T15:52:27Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models [63.92643612630657]
  本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。 最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。 そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
  論文  参考訳（メタデータ） (2020-10-12T17:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。