論文の概要: How Many Languages Make Good Multilingual Instruction Tuning? A Case Study on BLOOM

• arxiv url: http://arxiv.org/abs/2404.04850v2
• Date: Mon, 09 Dec 2024 18:25:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:51.892504
• Title: How Many Languages Make Good Multilingual Instruction Tuning? A Case Study on BLOOM
• Title（参考訳）: 優れた多言語指導指導を行う言語はいくつあるか? BLOOMを事例として
• Authors: Shaoxiong Ji, Pinzhen Chen,
• Abstract要約: ほんの一握りの言語が十分かどうか、あるいはより多くの言語が加わったことでメリットが増すかどうかはまだ定かではない。 1から52言語で大規模多言語モデルを微調整することにより,性能に影響を与える3つの要因を理解するためのBLOOMのケーススタディを示す。 その結果,1)多言語指導指導における言語カバレッジの拡大は有益であることが判明し,2)テスト言語が混在している場合の精度が著しく低下することが判明した。
• 参考スコア（独自算出の注目度）: 4.56830243967663
• License:
• Abstract: Instruction tuning a large language model with multiple languages can prepare it for multilingual downstream tasks. Nonetheless, it is yet to be determined whether having a handful of languages is sufficient, or whether the benefits increase with the inclusion of more. By fine-tuning large multilingual models on 1 to 52 languages, we present a case study on BLOOM to understand three pertinent factors affecting performance: the number of languages, language exposure, and similarity between training and test languages. Overall we found that 1) expanding language coverage in multilingual instruction tuning proves to be beneficial; 2) accuracy often significantly boots if the test language appears in the instruction mixture; 3) languages' genetic features correlate with cross-lingual transfer more than merely the number of language but different languages benefit to various degrees.
• Abstract（参考訳）: 複数の言語で大きな言語モデルをチューニングすることで、多言語ダウンストリームタスクに備えることができる。 それでも、ほんの一握りの言語が十分かどうか、あるいはより多くの言語が加わったことで利点が増すかどうかはまだ定かではない。 1から52言語で大規模多言語モデルを微調整することにより、BLOOMでは、言語数、言語露出、訓練言語とテスト言語間の類似性という、パフォーマンスに影響を与える3つの要因を理解することができる。 全体としては 1)多言語指導調律における言語カバレッジの拡大は,有益であることが証明される。 2) 検査言語が命令ミックスに現れると,精度が著しく低下することが多い。 3) 言語の遺伝的特徴は言語間移動と相関し, 言語数に留まらず, 異なる言語が様々な程度に有用である。

関連論文リスト

• Linguistically-Informed Multilingual Instruction Tuning: Is There an Optimal Set of Languages to Tune? [0.0]
  本研究では,言語情報を用いた指導指導のための言語選択手法を提案する。 簡単なアルゴリズムを用いて、多様な言語を選択し、様々なベンチマークやオープンエンドの質問でそれらの有効性をテストする。 その結果、この慎重な選択は、言語をランダムに選択するよりも、より優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-10-10T10:57:24Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Multilingual Instruction Tuning With Just a Pinch of Multilinguality [31.360147312195068]
  多くの言語が単言語チューニングから命令追従機能を他の言語に移行していることを示す。 多言語混合に調整されたモデルは、複数の言語で同等または優れた性能を示す。 2-4言語でも命令チューニングセットの多様化は、言語間の一般化を著しく改善する。
  論文  参考訳（メタデータ） (2024-01-03T17:48:10Z)
• Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
  英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。 複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T00:49:52Z)
• Language Chameleon: Transformation analysis between languages using Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
  本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。 結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2022-09-14T05:20:52Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。