論文の概要: UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2411.14343v1
• Date: Thu, 21 Nov 2024 17:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:29.308038
• Title: UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages
• Title（参考訳）: UnifiedCrawl: 低リソース言語におけるLLMの適応性向上のための共通crawl
• Authors: Bethel Melesse Tessema, Akhil Kedia, Tae-Sun Chung,
• Abstract要約: 大規模言語モデル(LLM)は低リソース言語での性能が低い。 低リソース言語のためのテキストデータを効率的に収集する手法を提案する。 我々のアプローチであるUnifiedCrawlは、最小限の計算リソースを使用して共通のクローをフィルタし、抽出する。
• 参考スコア（独自算出の注目度）: 2.66269503676104
• License:
• Abstract: Large language models (LLMs) under-perform on low-resource languages due to limited training data. We present a method to efficiently collect text data for low-resource languages from the entire Common Crawl corpus. Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources. We demonstrate that leveraging this data to fine-tuning multilingual LLMs via efficient adapter methods (QLoRA) significantly boosts performance on the low-resource language, while minimizing VRAM usage. Our experiments show large improvements in language modeling perplexity and an increase in few-shot prompting scores. Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware. Our source code is available here at https://github.com/bethelmelesse/unifiedcrawl.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、訓練データに制限があるため、低リソース言語での性能が低い。 我々は,コモンクローリングコーパス全体から,低リソース言語のためのテキストデータを効率的に収集する手法を提案する。 我々のアプローチであるUnifiedCrawlでは、最小限の計算リソースを使用して共通のクローをフィルタし、抽出し、従来利用可能なソースよりもはるかに大きな単言語データセットを生成する。 我々は,このデータをマルチリンガルLLMの高速アダプタ法(QLoRA)による微調整に活用することで,VRAM使用量を最小限に抑えつつ,低リソース言語の性能を著しく向上させることを示した。 実験の結果,言語モデリングの難易度が大きく向上し,数発のプロンプトスコアが増加した。 当社の作業とリリースしたソースコードは、コンシューマハードウェアを使用した低リソース言語向けのLLMを改善するための安価なアプローチを提供します。 ソースコードはhttps://github.com/bethelmelesse/unifiedcrawl.comで入手できます。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• GlotLID: Language Identification for Low-Resource Languages [51.38634652914054]
  GlotLID-M は広い範囲、信頼性、効率性のデシラタを満たす LID モデルである。 1665の言語を識別し、以前の作業に比べてカバー範囲が大幅に増加した。
  論文  参考訳（メタデータ） (2023-10-24T23:45:57Z)
• Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs [2.9242435458494445]
  本稿では,半合成データを用いた低リソース言語上でのコードLLMの性能向上に有効な手法を提案する。 このアプローチを適用して,Julia,Lua,OCaml,R,Racketの各トレーニング項目を数万個生成する。
  論文  参考訳（メタデータ） (2023-08-19T03:19:01Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• MetaXLR -- Mixed Language Meta Representation Transformation for Low-resource Cross-lingual Learning based on Multi-Armed Bandit [0.0]
  データ駆動方式で選択した複数のソース言語を利用する拡張アプローチを提案する。 我々は,同じ量のデータを使用しながら,非常に低リソース言語に対するNERタスクにおける技術結果の状態を達成した。
  論文  参考訳（メタデータ） (2023-05-31T18:22:33Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Improving Candidate Generation for Low-resource Cross-lingual Entity Linking [81.41804263432684]
  XEL(クロスランガル・エンティティ・リンク)は、ソース言語テキストから抽出された参照をターゲット言語知識ベース(KB)で検索するタスクである。 本稿では,(1)エンティティ参照とKBエントリの切断を減らすこと,(2)低リソースシナリオへのモデルの堅牢性を改善すること,の3つの改良を提案する。
  論文  参考訳（メタデータ） (2020-03-03T05:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。