論文の概要: LIMIT: Language Identification, Misidentification, and Translation using Hierarchical Models in 350+ Languages

• arxiv url: http://arxiv.org/abs/2305.14263v2
• Date: Mon, 6 Nov 2023 16:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:42:35.856130
• Title: LIMIT: Language Identification, Misidentification, and Translation using Hierarchical Models in 350+ Languages
• Title（参考訳）: 制限:350以上の言語における階層モデルを用いた言語識別・誤認・翻訳
• Authors: Milind Agarwal, Md Mahfuz Ibn Alam, Antonios Anastasopoulos
• Abstract要約: 現在のシステムは世界の7000の言語の大部分を正確に識別することはできない。 まず、350以上の言語で50Kの多言語・並列児童話のコーパスMCS-350をコンパイルする。 言語識別のための新しい誤予測分解階層モデル LIMIt を提案する。
• 参考スコア（独自算出の注目度）: 27.675441924635294
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowing the language of an input text/audio is a necessary first step for using almost every NLP tool such as taggers, parsers, or translation systems. Language identification is a well-studied problem, sometimes even considered solved; in reality, due to lack of data and computational challenges, current systems cannot accurately identify most of the world's 7000 languages. To tackle this bottleneck, we first compile a corpus, MCS-350, of 50K multilingual and parallel children's stories in 350+ languages. MCS-350 can serve as a benchmark for language identification of short texts and for 1400+ new translation directions in low-resource Indian and African languages. Second, we propose a novel misprediction-resolution hierarchical model, LIMIt, for language identification that reduces error by 55% (from 0.71 to 0.32) on our compiled children's stories dataset and by 40% (from 0.23 to 0.14) on the FLORES-200 benchmark. Our method can expand language identification coverage into low-resource languages by relying solely on systemic misprediction patterns, bypassing the need to retrain large models from scratch.
• Abstract（参考訳）: 入力テキスト/オーディオの言語を知ることは、タグ、パーサー、翻訳システムなど、ほとんどすべてのNLPツールを使用するための第一歩である。 言語識別はよく研究されている問題であり、時には解決されることもある。実際、データや計算上の課題が不足しているため、現在のシステムは世界の7000の言語の大部分を正確に識別することはできない。 このボトルネックに対処するために、まず、350以上の言語で50Kの多言語および並列児童話のコーパスMCS-350をコンパイルする。 MCS-350は、短いテキストの言語識別のベンチマークとして機能し、低リソースのインドおよびアフリカの言語で1400以上の新しい翻訳方向を示す。 第2に,flores-200ベンチマークにおいて,子どもの物語データセットのエラーを55%(0.71から0.32),エラーを40%(0.23から0.14)削減する,言語識別のための新しい誤推定分解階層モデルである limit を提案する。 提案手法は,大規模モデルをスクラッチから再訓練する必要をなくし,システム的誤予測パターンのみに依存することで,低リソース言語への言語識別範囲を拡大することができる。

関連論文リスト

• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Paramanu: A Family of Novel Efficient Generative Foundation Language Models for Indian Languages [3.9018931027384056]
  インド語のための新しい言語モデル(LM)のファミリーである「Paramanu」を提示する。 10の言語(アッサム語、バングラ語、ヒンディー語、コンカニ語、マイティシ語、マラティ語、オディア語、サンスクリット語、タミル語、テルグ語)を5文字でカバーしている。 モデルは、コンテキストサイズが1024の1つのGPUで事前トレーニングされており、サイズは13.29万(M)から367.5Mまで様々である。
  論文  参考訳（メタデータ） (2024-01-31T17:58:10Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Learning Natural Language Generation from Scratch [25.984828046001013]
  本稿では,TRUncated ReinForcement Learning for Language (TrufLL)を紹介する。 強化学習(RL)のみを用いて、条件付き言語モデルをゼロから訓練する独自のap-proachである。
  論文  参考訳（メタデータ） (2021-09-20T08:46:51Z)
• Language ID in the Wild: Unexpected Challenges on the Path to a Thousand-Language Web Text Corpus [15.807197703827818]
  我々は最大1,629の言語でLangIDモデルをトレーニングします。 これらのモデルを用いて作成したウェブクロールテキストコーパスの人手によるLangID精度は、多くの低リソース言語では5%程度であることがわかった。 本稿では,ワードリストに基づく可変精度フィルタとトランスフォーマーに基づく半教師付きラングIDモデルという2種類の手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T19:29:17Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。