論文の概要: TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in
LLMs through Translation-Assisted Chain-of-Thought Processes
- arxiv url: http://arxiv.org/abs/2311.10797v1
- Date: Fri, 17 Nov 2023 06:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:25:47.700091
- Title: TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in
LLMs through Translation-Assisted Chain-of-Thought Processes
- Title（参考訳）: TaCo:LLMにおける低リソース言語への翻訳支援連鎖プロセスによる言語間変換の強化
- Authors: Bibek Upadhayay and Vahid Behzadan
- Abstract要約: 本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語で翻訳したMultilingual Instruction-Tuningデータセット(MITS)を紹介する。
また,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。
- 参考スコア（独自算出の注目度）: 10.932431055896188
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs such as ChatGPT and PaLM can be utilized to train on a new language and
revitalize low-resource languages. However, it is evidently very costly to
pretrain pr fine-tune LLMs to adopt new languages. Another challenge is the
limitation of benchmark datasets and the metrics used to measure the
performance of models in multilingual settings. This paper proposes
cost-effective solutions to both of the aforementioned challenges. We introduce
the Multilingual Instruction-Tuning Dataset (MITS), which is comprised of the
translation of Alpaca-52K, Dolly-15K, and Vicuna Benchmark in 132 languages.
Also, we propose a new method called \emph{TaCo: Translation-Assisted
Cross-Linguality}, which make uses of translation in a chain-of-thought process
to instruction-tune LLMs on a new languages through a curriculum learning
process. As a proof of concept, we experimented with the instruction-tuned
Guanaco-33B model and performed further instruction tuning using the TaCo
method in three low-resource languages and one high-resource language. Our
results show that the TaCo method impresses the GPT-4 with 82% for a
low-resource language in the Vicuna Benchmark dataset, and boosts performance
by double in contrast to the performance of instruction tuning only. Our
results show that TaCo is a promising method for creating multilingual LLMs,
even for low-resource languages. We have released our datasets and the model
adapters, and encourage the research community to make use of these resources
towards advancing work on multilingual LLMs.
- Abstract（参考訳）: ChatGPTやPaLMといったLLMは、新しい言語のトレーニングや低リソース言語の再活性化に利用することができる。
しかし、明らかに、新しい言語を採用するために pr fine-tune LLM を事前訓練するのは非常にコストがかかる。
もうひとつの課題は、ベンチマークデータセットの制限と、マルチ言語設定でモデルのパフォーマンスを測定するために使用されるメトリクスだ。
本稿では,上記2つの課題に対する費用対効果の高い解決法を提案する。
本稿では132言語でAlpaca-52K, Dolly-15K, Vicuna Benchmarkを翻訳した多言語インストラクション・チューニングデータセット(MITS)を紹介する。
また,カリキュラム学習プロセスを通じて,新たな言語上でLLMを指導・チューニングするためのチェーン・オブ・シント・プロセスにおける翻訳を利用する「emph{TaCo: Translation-Assisted Cross-Linguality」という新しい手法を提案する。
概念実証として,命令調整型Guanaco-33Bモデルを用いて実験を行い,3つの低リソース言語と1つの高リソース言語でTaCo法を用いてさらに命令チューニングを行った。
提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% で GPT-4 を圧縮し,命令チューニングのみの性能に対して 2 倍の性能向上を図っている。
この結果から,TaCoは低リソース言語でも多言語LLMを作成するための有望な手法であることがわかった。
我々は、データセットとモデルアダプタをリリースし、研究コミュニティに、これらのリソースを多言語llmの開発に活用するよう促した。
関連論文リスト
- Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP [13.662528492286528]
本稿では,この課題に対処し,より効率的な言語適応を実現するために,新たな言語間語彙移動戦略であるトランストークン化を提案する。
提案手法は,ソースコードからの意味論的に類似したトークン埋め込みの重み付け平均を用いて,ターゲット言語のトークン埋め込みを初期化することにより,高リソースのモノリンガルLLMを未知のターゲット言語に適応することに焦点を当てる。
複数のスワップ可能な言語モデリングヘッドと埋め込みテーブルを備えたモデルであるHydra LLMを導入し、トランストークン化戦略の能力をさらに拡張した。
論文 参考訳（メタデータ） (2024-08-08T08:37:28Z) - PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。
モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。
提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
論文 参考訳（メタデータ） (2023-11-15T05:28:07Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳（メタデータ） (2023-07-29T18:01:46Z) - Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。
我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。
我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文 参考訳（メタデータ） (2023-06-20T08:27:47Z) - Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した
入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳（メタデータ） (2023-05-11T05:19:47Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。