論文の概要: The Impact of Model Scaling on Seen and Unseen Language Performance

• arxiv url: http://arxiv.org/abs/2501.05629v1
• Date: Fri, 10 Jan 2025 00:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:32.531497
• Title: The Impact of Model Scaling on Seen and Unseen Language Performance
• Title（参考訳）: モデルスケーリングが品位と目立たない言語パフォーマンスに及ぼす影響
• Authors: Rhitabrat Pokharel, Sina Bagheri Nezhad, Ameeta Agrawal, Suresh Singh,
• Abstract要約: 本研究では204言語にわたる多言語大言語モデルの性能とスケーリングの挙動について検討する。 その結果,ゼロショットシナリオと2ショットシナリオのスケーリング挙動に有意な差が認められた。 2ショット設定では、より大きなモデルは多言語テキスト分類において明確な線形改善を示す。
• 参考スコア（独自算出の注目度）: 2.012425476229879
• License:
• Abstract: The rapid advancement of Large Language Models (LLMs), particularly those trained on multilingual corpora, has intensified the need for a deeper understanding of their performance across a diverse range of languages and model sizes. Our research addresses this critical need by studying the performance and scaling behavior of multilingual LLMs in text classification and machine translation tasks across 204 languages. We systematically examine both seen and unseen languages across three model families of varying sizes in zero-shot and few-shot settings. Our findings show significant differences in scaling behavior between zero-shot and two-shot scenarios, with striking disparities in performance between seen and unseen languages. Model scale has little effect on zero-shot performance, which remains mostly flat. However, in two-shot settings, larger models show clear linear improvements in multilingual text classification. For translation tasks, however, only the instruction-tuned model showed clear benefits from scaling. Our analysis also suggests that overall resource levels, not just the proportions of pretraining languages, are better predictors of model performance, shedding light on what drives multilingual LLM effectiveness.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩、特に多言語コーパスで訓練された言語は、様々な言語やモデルサイズでそのパフォーマンスをより深く理解する必要がある。 本研究は,204言語を対象としたテキスト分類と機械翻訳タスクにおいて,多言語LLMの性能とスケーリングの振る舞いを研究することにより,この重要なニーズに対処する。 ゼロショット設定と少数ショット設定において,異なるサイズの3つのモデルファミリの可視言語と非可視言語の両方を体系的に検討した。 その結果,ゼロショットと2ショットのシナリオ間でのスケーリングの挙動に有意な差がみられた。 モデルスケールはゼロショットのパフォーマンスにはほとんど影響しない。 しかし、2ショット設定では、より大きなモデルは多言語テキスト分類において明確な線形改善を示す。 しかし、翻訳タスクでは、命令調整されたモデルのみがスケーリングの利点を示していた。 我々の分析は、事前学習言語の割合だけでなく、全体的なリソースレベルもモデル性能の予測に優れており、多言語LLMの有効性を損なうことを示唆している。

関連論文リスト

• Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
  各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。 本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
  論文  参考訳（メタデータ） (2025-01-14T22:02:38Z)
• Beyond Data Quantity: Key Factors Driving Performance in Multilingual Language Models [1.5703073293718952]
  モデル性能を向上させるために、事前訓練データとモデルサイズとともに、重要な要因としてのトーケン類似性と国間類似性を考察した。 これらの洞察は、より公平で効果的な多言語言語モデルを開発するための貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-12-17T03:05:26Z)
• Scaling Laws for Multilingual Language Models [41.6318470003173]
  多言語スケーリングの研究における主要な課題は、言語間移動による個々の言語性能の分析が困難であることである。 本稿では,各言語群に対するクロスエントロピー損失が,それぞれのサンプリング比でのみ決定されるという仮説を導入し,検証する。 性能とデータセットサイズ,モデルサイズ,サンプリング比率を関連づける,ゆるい関係を導出する。
  論文  参考訳（メタデータ） (2024-10-15T20:29:38Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• Tokenizer Choice For LLM Training: Negligible or Crucial? [30.33170936148845]
  24個の単言語LLMと多言語LLMを学習し,トークン化選択が大規模言語モデル(LLM)の下流性能に与える影響について検討した。 トークン化ツールの選択は、ダウンストリームのパフォーマンスとトレーニングコストに大きな影響を与えます。 ヨーロッパの5言語で訓練された多言語トークン化器は,英語と比較して語彙サイズが3倍に大きくなることが示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:44:19Z)
• Scaling Laws for Multilingual Neural Machine Translation [45.620062316968976]
  モデルサイズの増加がモデル性能に与える影響について検討し,スケーリング行動におけるトレーニング混合物組成の役割について検討した。 学習混合物中の個々の言語ペアの重み付けの変化は,スケーリング法則の乗法的要因にのみ影響することがわかった。 我々は、どんな言語重み付けでも訓練された多言語モデルの性能を予測するために、我々の観測を活用している。
  論文  参考訳（メタデータ） (2023-02-19T18:43:24Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。