論文の概要: MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions

• arxiv url: http://arxiv.org/abs/2409.12958v1
• Date: Thu, 19 Sep 2024 17:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 12:36:59.780287
• Title: MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions
• Title（参考訳）: MURI: 逆命令による低リソース言語のための高品質インストラクションチューニングデータセット
• Authors: Abdullatif Köksal, Marion Thaler, Ayyoob Imani, Ahmet Üstün, Anna Korhonen, Hinrich Schütze,
• Abstract要約: MURI(Multilingual Reverse Instructions)は低リソース言語のための高品質な命令チューニングデータセットを生成する。 MURIは、低リソース言語における既存の人文テキストから命令出力ペアを生成する。 私たちのデータセットであるMURI-ITには200言語にまたがる200万以上の命令出力ペアが含まれています。
• 参考スコア（独自算出の注目度）: 54.08017526771947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning enhances large language models (LLMs) by aligning them with human preferences across diverse tasks. Traditional approaches to create instruction tuning datasets face serious challenges for low-resource languages due to their dependence on data annotation. This work introduces a novel method, Multilingual Reverse Instructions (MURI), which generates high-quality instruction tuning datasets for low-resource languages without requiring human annotators or pre-existing multilingual models. Utilizing reverse instructions and a translation pipeline, MURI produces instruction-output pairs from existing human-written texts in low-resource languages. This method ensures cultural relevance and diversity by sourcing texts from different native domains and applying filters to eliminate inappropriate content. Our dataset, MURI-IT, includes more than 2 million instruction-output pairs across 200 languages. Evaluation by native speakers and fine-tuning experiments with mT5 models demonstrate the approach's effectiveness for both NLU and open-ended generation. We publicly release datasets and models at https://github.com/akoksal/muri.
• Abstract（参考訳）: インストラクションチューニングは、大きな言語モデル(LLM)を様々なタスクで人間の好みに合わせることで強化する。 命令チューニングデータセットを作成する従来のアプローチは、データアノテーションに依存しているため、低リソース言語では深刻な課題に直面している。 本研究では,人間のアノテータや既存の多言語モデルを必要としない,低リソース言語のための高品質な命令チューニングデータセットを生成する新しい手法であるMultilingual Reverse Instructions(MURI)を紹介する。 逆命令と翻訳パイプラインを利用して、MURIは、低リソース言語で既存の人文テキストから命令出力ペアを生成する。 この方法は、異なるネイティブドメインからテキストを抽出し、不適切なコンテンツを排除するためにフィルタを適用することで、文化的妥当性と多様性を保証する。 私たちのデータセットであるMURI-ITには200言語にまたがる200万以上の命令出力ペアが含まれています。 ネイティブスピーカーによる評価とmT5モデルによる微調整実験は、NLUとオープンエンドの両方にアプローチの有効性を示す。 データセットとモデルをhttps://github.com/akoksal/muri.comで公開しています。

関連論文リスト

• Pretraining Data and Tokenizer for Indic LLM [1.7729311045335219]
  我々は,多言語Indic大言語モデル構築のためのデータ準備のための新しいアプローチを開発する。 われわれの厳密なデータ取得は、Common Crawl、Indic Book、ニュース記事、Wikipediaなど、オープンソースとプロプライエタリなソースにまたがっている。 Indic言語毎に、冗長で低品質なテキストコンテンツを効果的に除去するカスタムプリプロセッシングパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-07-17T11:06:27Z)
• X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions [43.90353059292894]
  大規模な言語モデルは、英語のような高リソース言語ではうまく反応するが、低リソース言語では苦労する。 そこで本研究では,低リソース言語における英語の命令と応答を併用した言語間命令を新たに構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:45:23Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes [9.254047358707014]
  本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語に翻訳する多言語インストラクション・チューニングデータセット(MITS)を紹介する。 次に,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。 提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% のスコアで GPT-4 を圧縮し,命令チューニングと比較して性能を2倍にすることを示す。
  論文  参考訳（メタデータ） (2023-11-17T06:55:32Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Cross-lingual alignments of ELMo contextual embeddings [0.0]
  言語間埋め込みは、低リソース言語から高リソース言語への単語の埋め込みをマッピングする。 最近の文脈埋め込みの言語間マッピングを作成するには、埋め込み空間間のアンカーポイントは、同じ文脈における単語でなければならない。 ELMo埋め込みのための新しい言語間マッピング手法を提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:26:43Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。