論文の概要: Monolingual or Multilingual Instruction Tuning: Which Makes a Better
Alpaca
- arxiv url: http://arxiv.org/abs/2309.08958v1
- Date: Sat, 16 Sep 2023 11:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:11:45.386420
- Title: Monolingual or Multilingual Instruction Tuning: Which Makes a Better
Alpaca
- Title(参考訳): 単言語または多言語命令チューニング:より優れたalpacaを作る
- Authors: Pinzhen Chen, Shaoxiong Ji, Nikolay Bogoychev, Barry Haddow, Kenneth
Heafield
- Abstract要約: 基礎的な大規模言語モデル (LLM) は、オープンな質問応答能力を開発するために命令を調整できる。
単言語および多言語チューニングのコスト効率を実証的に分析する。
本研究は,制約付き計算資源を用いた命令調整による言語サポートの拡張のためのガイドとして機能する。
- 参考スコア(独自算出の注目度): 33.218671655501275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundational large language models (LLMs) can be instruction-tuned to develop
open-ended question-answering capability, facilitating applications such as the
creation of AI assistants. While such efforts are often carried out in a single
language, building on prior research, we empirically analyze cost-efficient
approaches of monolingual and multilingual tuning, shedding light on the
efficacy of LLMs in responding to queries across monolingual and multilingual
contexts. Our study employs the Alpaca dataset and machine translations of it
to form multilingual training data, which is then used to tune LLMs through
low-rank adaptation and full-parameter training. Comparisons reveal that
multilingual tuning is not crucial for an LLM's English performance, but is key
to its robustness in a multilingual environment. With a fixed budget, a
multilingual instruction-tuned model, merely trained on downsampled data, can
be as powerful as training monolingual models for each language. Our findings
serve as a guide for expanding language support through instruction tuning with
constrained computational resources.
- Abstract(参考訳): 基礎的大言語モデル(LLM)は、AIアシスタント作成などのアプリケーションを容易にし、オープンエンドの質問応答機能を開発するために、インストラクションを調整できる。
このような取り組みは、先行研究に基づいて単一の言語でしばしば行われるが、単言語と多言語チューニングのコスト効率の高いアプローチを実証的に分析し、単言語と多言語間のクエリに対するllmの有効性に光を当てる。
本稿では,Alpacaデータセットと機械翻訳を用いて多言語学習データを作成し,低ランク適応とフルパラメータトレーニングを通じてLLMをチューニングする。
比較では、多言語チューニングはLLMの英語演奏にとって必須ではなく、多言語環境における頑健さの鍵となる。
固定予算では、ダウンサンプルデータでのみ訓練された多言語命令チューニングモデルは、各言語のための単言語モデルのトレーニングと同じくらい強力になる。
本研究は,制約付き計算資源を用いた命令調整による言語サポートの拡張ガイドとして機能する。
関連論文リスト
- Zero-shot cross-lingual transfer in instruction tuning of large language models [22.93790760274486]
我々は、LLMを英語のみのデータで指導し、他の言語でユーザプロンプトでテストする場合、ITにおけるゼロショットの言語間移動について研究する。
モデルトレーニングのすべての段階が英語中心であっても、ITにおいて言語間の移行が成功していることが分かっています。
英語で訓練されたLLMは、他の言語で正しい言語、包括的で有用な応答を生成することができるが、事実性が低いため、時々流布エラーが発生することがある。
論文 参考訳(メタデータ) (2024-02-22T18:37:33Z) - Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand
for Multilingual Instructions? [44.2017377417911]
単言語コーパスの代わりに並列で命令チューニングを行うことで,最大4.6%の言語間命令に従うことができることを示す。
また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
論文 参考訳(メタデータ) (2024-02-21T11:07:07Z) - Multilingual Instruction Tuning With Just a Pinch of Multilinguality [33.229708250933726]
多くの言語が単言語チューニングから命令追従機能を他の言語に移行していることを示す。
多言語混合に調整されたモデルは、複数の言語で同等または優れた性能を示す。
2-4言語でも命令チューニングセットの多様化は、言語間の一般化を著しく改善する。
論文 参考訳(メタデータ) (2024-01-03T17:48:10Z) - Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is
Needed? [45.10397051167781]
非英語設定で適切なパフォーマンスを達成するためには、言語間転送が重要である。
英語のみの微調整と比較すると、3つの言語での多言語指導はモデルの言語間変換能力を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-20T00:49:52Z) - PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。
モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。
提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
論文 参考訳(メタデータ) (2023-11-15T05:28:07Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳(メタデータ) (2023-08-09T13:32:06Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - InstructAlign: High-and-Low Resource Language Alignment via Continual
Crosslingual Instruction Tuning [66.31509106146605]
命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。
しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。
InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
論文 参考訳(メタデータ) (2023-05-23T02:51:34Z) - Romanization-based Large-scale Adaptation of Multilingual Language
Models [124.57923286144515]
大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。
我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。
以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
論文 参考訳(メタデータ) (2023-04-18T09:58:34Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。
標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。
そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
論文 参考訳(メタデータ) (2020-04-14T18:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。