論文の概要: The Less the Merrier? Investigating Language Representation in Multilingual Models

• arxiv url: http://arxiv.org/abs/2310.13228v1
• Date: Fri, 20 Oct 2023 02:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 00:45:50.866832
• Title: The Less the Merrier? Investigating Language Representation in Multilingual Models
• Title（参考訳）: メリーアーが減るほど? 多言語モデルにおける言語表現の検討
• Authors: Hellina Hailu Nigatu, Atnafu Lambebo Tonja, Jugal Kalita
• Abstract要約: 多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
• 参考スコア（独自算出の注目度）: 8.632506864465501
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multilingual Language Models offer a way to incorporate multiple languages in one model and utilize cross-language transfer learning to improve performance for different Natural Language Processing (NLP) tasks. Despite progress in multilingual models, not all languages are supported as well, particularly in low-resource settings. In this work, we investigate the linguistic representation of different languages in multilingual models. We start by asking the question which languages are supported in popular multilingual models and which languages are left behind. Then, for included languages, we look at models' learned representations based on language family and dialect and try to understand how models' learned representations for~(1) seen and~(2) unseen languages vary across different language groups. In addition, we test and analyze performance on downstream tasks such as text generation and Named Entity Recognition. We observe from our experiments that community-centered models -- models that focus on languages of a given family or geographical location and are built by communities who speak them -- perform better at distinguishing between languages in the same family for low-resource languages. Our paper contributes to the literature in understanding multilingual models and their shortcomings and offers insights on potential ways to improve them.
• Abstract（参考訳）: 多言語言語モデルは、複数の言語を1つのモデルに統合し、言語間変換学習を利用して異なる自然言語処理(NLP)タスクのパフォーマンスを改善する方法を提供する。 多言語モデルの進歩にもかかわらず、特に低リソース設定では、すべての言語がサポートされているわけではない。 本研究では,多言語モデルにおける言語表現について検討する。 まず、人気のある多言語モデルでどの言語がサポートされているか、どの言語が残されているか、という質問から始めます。 次に、対象言語について、言語族と方言に基づくモデルの学習表現を見て、-(1) におけるモデルの学習表現と~(2) 未認識言語がどのように異なる言語群にまたがっているかを理解しようとする。 さらに、テキスト生成や名前付きエンティティ認識といった下流タスクのパフォーマンスをテストおよび分析する。 私たちは実験から、コミュニティ中心のモデル -- 特定の家族や地理的な場所の言語にフォーカスし、それを話すコミュニティによって構築されたモデル -- が、低リソース言語のために同じ家族内の言語を区別するのに優れていることを観察します。 本稿では,多言語モデルとその欠点の理解に関する文献に寄与し,その改善の可能性について考察する。

関連論文リスト

• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
  多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。 言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
  論文  参考訳（メタデータ） (2023-10-29T01:21:36Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models [2.457872341625575]
  大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。 このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
  論文  参考訳（メタデータ） (2020-10-24T10:15:03Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Language-agnostic Multilingual Modeling [23.06484126933893]
  我々は,言語に依存しない多言語ASRシステムを構築し,多対一のトランスデューサを用いて,すべての言語を1つの書き起こしシステムに変換する。 我々は,ヒンディー語,ベンガル語,タミル語,カナダ語の4つの言語を用いて,言語に依存しない多言語モデルを用いて,単語誤り率(WER)を最大10%削減できることを示す。
  論文  参考訳（メタデータ） (2020-04-20T18:57:43Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。