論文の概要: Beyond Data Quantity: Key Factors Driving Performance in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2412.12500v1
• Date: Tue, 17 Dec 2024 03:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:50.860071
• Title: Beyond Data Quantity: Key Factors Driving Performance in Multilingual Language Models
• Title（参考訳）: データ量を超えた:多言語言語モデルのパフォーマンス向上要因
• Authors: Sina Bagheri Nezhad, Ameeta Agrawal, Rhitabrat Pokharel,
• Abstract要約: モデル性能を向上させるために、事前訓練データとモデルサイズとともに、重要な要因としてのトーケン類似性と国間類似性を考察した。 これらの洞察は、より公平で効果的な多言語言語モデルを開発するための貴重なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 1.5703073293718952
• License:
• Abstract: Multilingual language models (MLLMs) are crucial for handling text across various languages, yet they often show performance disparities due to differences in resource availability and linguistic characteristics. While the impact of pre-train data percentage and model size on performance is well-known, our study reveals additional critical factors that significantly influence MLLM effectiveness. Analyzing a wide range of features, including geographical, linguistic, and resource-related aspects, we focus on the SIB-200 dataset for classification and the Flores-200 dataset for machine translation, using regression models and SHAP values across 204 languages. Our findings identify token similarity and country similarity as pivotal factors, alongside pre-train data and model size, in enhancing model performance. Token similarity facilitates cross-lingual transfer, while country similarity highlights the importance of shared cultural and linguistic contexts. These insights offer valuable guidance for developing more equitable and effective multilingual language models, particularly for underrepresented languages.
• Abstract（参考訳）: MLLM(Multilingual Language Model)は、様々な言語にわたるテキストを扱うために重要であるが、資源の可用性と言語特性の違いにより、しばしば性能の相違を示す。 プレトレインデータパーセンテージとモデルサイズが性能に与える影響はよく知られているが,本研究ではMLLMの有効性に大きな影響を及ぼす重要な要因を明らかにした。 地理的、言語的、リソース関連の側面を含む幅広い特徴を分析し、204言語にわたる回帰モデルとSHAP値を用いて、分類のためのSIB-200データセットと機械翻訳のためのFlores-200データセットに焦点を当てる。 本研究は,事前学習データとモデルサイズとともに,トークンの類似性と国間類似性を重要な要因として同定し,モデル性能を向上させることを目的とした。 トーケンの類似性は言語間移動を促進する一方、国間の類似性は文化的・言語的文脈の共有の重要性を強調している。 これらの洞察は、より公平で効果的な多言語言語モデルを開発するための貴重なガイダンスを提供する。

関連論文リスト

• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• The Impact of Model Scaling on Seen and Unseen Language Performance [2.012425476229879]
  本研究では204言語にわたる多言語大言語モデルの性能とスケーリングの挙動について検討する。 その結果,ゼロショットシナリオと2ショットシナリオのスケーリング挙動に有意な差が認められた。 2ショット設定では、より大きなモデルは多言語テキスト分類において明確な線形改善を示す。
  論文  参考訳（メタデータ） (2025-01-10T00:10:21Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• What Drives Performance in Multilingual Language Models? [1.7648680700685022]
  本研究では,多言語多言語大言語モデル(MLLM)の性能に影響を及ぼす要因について検討した。 SIB-200データセットを用いて、マスキング言語モデル、自己回帰モデル、命令調整LDMを含む6つのMLLMについて検討した。
  論文  参考訳（メタデータ） (2024-04-29T23:49:19Z)
• Exploring the Maze of Multilingual Modeling [2.0849578298972835]
  我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。 その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T04:48:14Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• Improving Polish to English Neural Machine Translation with Transfer Learning: Effects of Data Volume and Language Similarity [2.4674086273775035]
  機械翻訳作業におけるデータ量と類似言語の使用が伝達学習に与える影響について検討する。 OPUS-100データセットを用いてポーランド語と英語の翻訳タスクに対してmBARTモデルを微調整する。 実験の結果、関連する言語と大量のデータの組み合わせは、関連する言語や大量のデータだけで訓練されたモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T13:34:21Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• An Empirical Study of Factors Affecting Language-Independent Models [11.976665726887733]
  言語に依存しないモデルは、モノリンガルデータを用いて訓練されたモデルに匹敵するか、さらに優れることを示す。 我々は,多くの異なる言語で言語に依存しないモデルを実験し,それらが類型的に類似した言語に適していることを示す。
  論文  参考訳（メタデータ） (2019-12-30T22:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。