論文の概要: Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand
for Multilingual Instructions?
- arxiv url: http://arxiv.org/abs/2402.13703v1
- Date: Wed, 21 Feb 2024 11:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:10:33.262615
- Title: Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand
for Multilingual Instructions?
- Title（参考訳）: 多言語インストラクション・チューニング:多言語モデルの多言語インストラクションへの需要は?
- Authors: Alexander Arno Weber, Klaudia Thellmann, Jan Ebert, Nicolas
Flores-Herr, Jens Lehmann, Michael Fromm and Mehdi Ali
- Abstract要約: 単言語コーパスの代わりに並列で命令チューニングを行うことで,最大4.6%の言語間命令に従うことができることを示す。
また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
- 参考スコア（独自算出の注目度）: 44.2017377417911
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The adaption of multilingual pre-trained Large Language Models (LLMs) into
eloquent and helpful assistants is essential to facilitate their use across
different language regions. In that spirit, we are the first to conduct an
extensive study of the performance of multilingual models on parallel,
multi-turn instruction-tuning benchmarks across a selection of the most-spoken
Indo-European languages. We systematically examine the effects of language and
instruction dataset size on a mid-sized, multilingual LLM by instruction-tuning
it on parallel instruction-tuning datasets. Our results demonstrate that
instruction-tuning on parallel instead of monolingual corpora benefits
cross-lingual instruction following capabilities by up to 4.6%. Furthermore, we
show that the Superficial Alignment Hypothesis does not hold in general, as the
investigated multilingual 7B parameter model presents a counter-example
requiring large-scale instruction-tuning datasets. Finally, we conduct a human
annotation study to understand the alignment between human-based and
GPT-4-based evaluation within multilingual chat scenarios.
- Abstract（参考訳）: 多言語事前学習型大規模言語モデル(LLM)の雄弁で有用なアシスタントへの適応は、異なる言語領域での使用を促進するために不可欠である。
その精神の中で、我々は、最も話し言葉の多いインド・ヨーロッパ言語の選択を通して、並列、マルチターンの命令チューニングベンチマークで、多言語モデルのパフォーマンスを広範囲に研究した最初の者です。
並列命令チューニングデータセット上での命令チューニングにより,中規模多言語llmにおける言語と命令データセットサイズの影響を体系的に検討する。
本研究は,単言語コーパスの代わりに並列で命令チューニングを行うことにより,最大4.6%の言語間命令処理が可能となることを示す。
さらに,多言語7bパラメータモデルでは,大規模命令チューニングデータセットが必要となる反例を示すため,表層アライメント仮説は一般には成立しないことを示す。
最後に,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
関連論文リスト
- LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning [28.288949710191158]
大規模言語モデル(LLM)は、多言語事前学習コーパスと命令微調整データによって駆動される、印象的な多言語推論能力を示す。
事前学習コーパスにおける言語不均衡に起因する高リソース言語推論タスクと低リソース言語推論タスクの間には,パフォーマンスギャップが存在する。
LinguaLIFTは低リソース言語推論を進めるための2段階の命令チューニングフレームワークである。
論文 参考訳（メタデータ） (2024-12-17T03:03:17Z) - Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。
Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。
非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
論文 参考訳（メタデータ） (2024-10-21T00:59:47Z) - Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
大きな言語モデル(LLM)は印象的な言語機能を示している。
本研究では,LLMの自然多言語アライメント改善について検討する。
質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
論文 参考訳（メタデータ） (2024-05-22T16:46:19Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-02-28T15:15:39Z) - Multilingual Instruction Tuning With Just a Pinch of Multilinguality [31.360147312195068]
多くの言語が単言語チューニングから命令追従機能を他の言語に移行していることを示す。
多言語混合に調整されたモデルは、複数の言語で同等または優れた性能を示す。
2-4言語でも命令チューニングセットの多様化は、言語間の一般化を著しく改善する。
論文 参考訳（メタデータ） (2024-01-03T17:48:10Z) - Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。
複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
論文 参考訳（メタデータ） (2023-12-20T00:49:52Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T12:00:24Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。