論文の概要: Marco-LLM: Bridging Languages via Massive Multilingual Training for Cross-Lingual Enhancement
- arxiv url: http://arxiv.org/abs/2412.04003v1
- Date: Thu, 05 Dec 2024 09:26:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 20:43:01.979109
- Title: Marco-LLM: Bridging Languages via Massive Multilingual Training for Cross-Lingual Enhancement
- Title（参考訳）: Marco-LLM: 言語間強化のための多言語多言語学習によるブリッジング言語
- Abstract要約: Marco-LLM:多言語多言語学習による多言語化
我々は、複数の低リソース言語に対して、かなりの量の多言語データを収集した。
Marco-LLMは最先端のLLMよりも大幅に改善されている。
- 参考スコア（独自算出の注目度）: 45.69955325679514
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) have achieved remarkable progress in recent years; however, their excellent performance is still largely limited to major world languages, primarily English. Many LLMs continue to face challenges with multilingual tasks, especially when it comes to low-resource languages. To address this issue, we introduced Marco-LLM: Massive multilingual training for cross-lingual enhancement LLM. We have collected a substantial amount of multilingual data for several low-resource languages and conducted extensive continual pre-training using the Qwen2 models. This effort has resulted in a multilingual LLM named Marco-LLM. Through comprehensive evaluations on various multilingual benchmarks, including MMMLU, AGIEval, Belebele, Flores-200, XCOPA and many others, Marco-LLM has demonstrated substantial improvements over state-of-the-art LLMs. Furthermore, Marco-LLM achieved substantial enhancements in any-to-any machine translation tasks, showing the effectiveness of our multilingual LLM. Marco-LLM is a pioneering multilingual LLM designed to not only perform exceptionally well in multilingual tasks, including low-resource languages, but also maintain strong performance in English and other major languages, closing the performance gap between high- and low-resource language capabilities. By bridging languages, this effort demonstrates our dedication to ensuring LLMs work accurately across various languages.
- Abstract（参考訳）: 大規模言語モデル(LLM)は近年顕著な進歩を遂げているが、その優れた性能は依然として主要な世界言語(主に英語)に限られている。
多くのLLMは、特に低リソース言語では、多言語タスクの課題に直面し続けている。
この問題に対処するため,多言語多言語学習のための多言語多言語学習システムMarco-LLMを導入した。
Qwen2 モデルを用いて,複数の低リソース言語に対して大量の多言語データを収集し,広範囲にわたる事前学習を行った。
この取り組みにより、マルチリンガルなLLMであるMarco-LLMが誕生した。
MMMLU、AGIEval、Belebele、Flores-200、XCOPAなどの多言語ベンチマークの総合的な評価を通じて、Marco-LLMは最先端のLLMよりも大幅に改善されている。
さらに、Marco-LLM は機械翻訳タスクの大幅な向上を実現し、多言語 LLM の有効性を示した。
Marco-LLMは、低リソース言語を含む多言語タスクにおいて例外的に優れた性能を発揮するように設計された先駆的な多言語 LLM である。
言語をブリッジすることで、LLMが様々な言語で正確に動作することを保証するために、我々の努力を実証します。
関連論文リスト
- AlignX: Advancing Multilingual Large Language Models with Multilingual Representation Alignment [46.881574083116085]
多言語大言語モデル(LLM)には、印象的な多言語理解と生成能力がある。
LLMのパフォーマンスと言語間アライメントは、非支配言語ではしばしば遅れる。
2段階の表現レベルフレームワークである多言語のパフォーマンスギャップを橋渡しするために,AlignXを提案する。
論文 参考訳（メタデータ） (2025-09-29T06:37:46Z) - Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - Pruning Multilingual Large Language Models for Multilingual Inference [28.36717615166238]
本研究では,非英語言語におけるMLLMのゼロショット性能を向上させる方法について検討する。
まず、翻訳を行う際のMLLMの挙動を分析し、翻訳過程において重要な役割を果たす大きな特徴があることを明らかにする。
論文 参考訳（メタデータ） (2024-09-25T13:15:50Z) - A Survey of Large Language Models for European Languages [4.328283741894074]
大規模言語モデル(LLM)は、多岐にわたる自然言語処理における高い性能のため、大きな注目を集めている。
LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要を報告する。
大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。
論文 参考訳（メタデータ） (2024-08-27T13:10:05Z) - LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback [61.23008372927665]
我々はLLaMAとBLOOMの多言語機能を100言語に拡張するxLLMs-100を紹介する。
5つの多言語ベンチマークでxLLMs-100の多言語理解と生成能力を評価する。
論文 参考訳（メタデータ） (2024-06-03T20:25:12Z) - Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
大きな言語モデル(LLM)は印象的な言語機能を示している。
本研究では,LLMの自然多言語アライメント改善について検討する。
質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
論文 参考訳（メタデータ） (2024-05-22T16:46:19Z) - Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。
この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。
深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
論文 参考訳（メタデータ） (2024-03-15T12:47:39Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳（メタデータ） (2024-02-19T15:07:32Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳（メタデータ） (2023-08-09T13:32:06Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳（メタデータ） (2023-05-24T02:05:03Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳（メタデータ） (2021-07-01T18:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。