論文の概要: MEXA: Multilingual Evaluation of English-Centric LLMs via Cross-Lingual Alignment

• arxiv url: http://arxiv.org/abs/2410.05873v1
• Date: Tue, 8 Oct 2024 09:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:20:15.224448
• Title: MEXA: Multilingual Evaluation of English-Centric LLMs via Cross-Lingual Alignment
• Title（参考訳）: MEXA:言語横断的アライメントによる英語中心LLMの多言語評価
• Authors: Amir Hossein Kargaran, Ali Modarressi, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze,
• Abstract要約: MEXAは、英語中心の大規模言語モデルの多言語能力を評価する方法である。 パラレル文を用いて英語と非英語のアライメントを計算する。 このアライメントは、他の言語でのモデルパフォーマンスを推定するために使用することができる。
• 参考スコア（独自算出の注目度）: 48.03702722532143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: English-centric large language models (LLMs) often show strong multilingual capabilities. However, the multilingual performance of these models remains unclear and is not thoroughly evaluated for many languages. Most benchmarks for multilinguality focus on classic NLP tasks, or cover a minimal number of languages. We introduce MEXA, a method for assessing the multilingual capabilities of pre-trained English-centric LLMs using parallel sentences, which are available for more languages than existing downstream tasks. MEXA leverages the fact that English-centric LLMs use English as a kind of pivot language in their intermediate layers. It computes the alignment between English and non-English languages using parallel sentences to evaluate the transfer of language understanding from English to other languages. This alignment can be used to estimate model performance in other languages. We conduct studies using various parallel datasets (FLORES-200 and Bible), models (Llama family, Gemma family, Mistral, and OLMo), and established downstream tasks (Belebele, m-MMLU, and m-ARC). We explore different methods to compute embeddings in decoder-only models. Our results show that MEXA, in its default settings, achieves a statistically significant average Pearson correlation of 0.90 with three established downstream tasks across nine models and two parallel datasets. This suggests that MEXA is a reliable method for estimating the multilingual capabilities of English-centric LLMs, providing a clearer understanding of their multilingual potential and the inner workings of LLMs. Leaderboard: https://huggingface.co/spaces/cis-lmu/Mexa, Code: https://github.com/cisnlp/Mexa.
• Abstract（参考訳）: 英語中心の大規模言語モデル(LLM)は、しばしば強い多言語機能を示す。 しかし、これらのモデルの多言語性能はいまだ不明であり、多くの言語で十分に評価されていない。 多言語性のためのほとんどのベンチマークは、古典的なNLPタスクにフォーカスするか、最小限の言語をカバーする。 我々は,既存の下流タスクよりも多くの言語で利用できる並列文を用いて,事前学習した英語中心のLLMの多言語能力を評価する手法であるMEXAを紹介する。 MEXAは、英語中心のLLMが中間層で英語をピボット言語の一種として使っているという事実を活用している。 パラレル文を用いて英語と非英語のアライメントを計算し、英語から他言語への言語理解の伝達を評価する。 このアライメントは、他の言語でのモデルパフォーマンスを推定するために使用することができる。 各種並列データセット(FLORES-200とBible)、モデル(Llama family、Gemma family、Mistral、OLMo)を用いて研究を行い、下流タスク(Belebele、m-MMLU、m-ARC)を確立した。 我々はデコーダのみのモデルに埋め込まれた埋め込みを計算する方法を探究する。 その結果,MEXAのデフォルト設定では,9つのモデルと2つの並列データセットにまたがる3つの下流タスクに対して,統計学的に有意なPearson相関が0.90であることがわかった。 このことは、MEXAが英語中心のLLMの多言語能力を推定する信頼性の高い方法であり、その多言語ポテンシャルとLLMの内部動作のより明確な理解を提供することを示唆している。 リーダーボード: https://huggingface.co/spaces/cis-lmu/Mexa, Code: https://github.com/cisnlp/Mexa.com

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
  英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。 複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T00:49:52Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。