論文の概要: Breaking Language Barriers with a LEAP: Learning Strategies for Polyglot
LLMs
- arxiv url: http://arxiv.org/abs/2305.17740v1
- Date: Sun, 28 May 2023 14:48:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:57:34.898012
- Title: Breaking Language Barriers with a LEAP: Learning Strategies for Polyglot
LLMs
- Title(参考訳): LEAPで言語バリアを壊す:多言語LLMの学習戦略
- Authors: Akshay Nambi, Vaibhav Balloli, Mercy Ranjit, Tanuja Ganu, Kabir Ahuja,
Sunayana Sitaram, Kalika Bali
- Abstract要約: 大規模言語モデル(LLM)は、世界中の多くのドメインを変換する最前線にある。
本稿では,LLMの多言語性能向上のための命令的課題に取り組む。
ポリグロットランドスケープにおけるLLMの真のポテンシャルを解き放つ新しい手法を提案する。
- 参考スコア(独自算出の注目度): 5.682384717239095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are at the forefront of transforming numerous
domains globally. However, their inclusivity and effectiveness remain limited
for non-Latin scripts and low-resource languages. This paper tackles the
imperative challenge of enhancing the multilingual performance of LLMs,
specifically focusing on Generative models. Through systematic investigation
and evaluation of diverse languages using popular question-answering (QA)
datasets, we present novel techniques that unlock the true potential of LLMs in
a polyglot landscape. Our approach encompasses three key strategies that yield
remarkable improvements in multilingual proficiency. First, by meticulously
optimizing prompts tailored for polyglot LLMs, we unlock their latent
capabilities, resulting in substantial performance boosts across languages.
Second, we introduce a new hybrid approach that synergizes GPT generation with
multilingual embeddings and achieves significant multilingual performance
improvement on critical tasks like QA and retrieval. Finally, to further propel
the performance of polyglot LLMs, we introduce a novel learning algorithm that
dynamically selects the optimal prompt strategy, LLM model, and embeddings per
query. This dynamic adaptation maximizes the efficacy of LLMs across languages,
outperforming best static and random strategies. Our results show substantial
advancements in multilingual understanding and generation across a diverse
range of languages.
- Abstract(参考訳): 大規模言語モデル(llm)は、多くのドメインをグローバルに変革する最前線にある。
しかしながら、その傾向と有効性は、非ラテン語スクリプトや低リソース言語に限られている。
本稿では,LLMの多言語的性能向上という課題に取り組み,特に生成モデルに着目した。
一般的な質問応答(QA)データセットを用いた多言語言語の体系的調査と評価を通じて,多言語ランドスケープにおけるLLMの真のポテンシャルを解き放つ新しい手法を提案する。
提案手法は,多言語習熟度を著しく向上させる3つの重要な戦略を含む。
まず,ポリグロットLLMに適したプロンプトを巧みに最適化することにより,その潜在能力を解放し,言語間で大幅な性能向上を実現する。
第2に,GPT生成を多言語埋め込みと相乗化し,QAや検索といった重要なタスクにおいて,多言語のパフォーマンス向上を実現するハイブリッド手法を提案する。
最後に,多言語LLMの性能をさらに向上させるために,最適プロンプト戦略,LLMモデル,クエリ毎の埋め込みを動的に選択する新しい学習アルゴリズムを提案する。
この動的適応は言語間のLLMの有効性を最大化し、最高の静的およびランダムな戦略より優れる。
以上の結果から,多言語理解と多言語生成の進歩が示唆された。
関連論文リスト
- Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳(メタデータ) (2024-02-19T15:07:32Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - How Multilingual is Multilingual LLM? [20.90512352559827]
本研究では,101言語にまたがる徹底的な分析を行うことにより,Large Language Models (LLM) の多言語能力を評価する。
それぞれのクアドラントを掘り下げることで、分類の背後にある理論的根拠を明らかにし、これらの言語をチューニングするための実行可能なガイドラインを提供します。
論文 参考訳(メタデータ) (2023-11-15T16:13:14Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳(メタデータ) (2023-07-29T18:01:46Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Not All Languages Are Created Equal in LLMs: Improving Multilingual
Capability by Cross-Lingual-Thought Prompting [123.16452714740106]
大規模言語モデル(LLM)は印象的な多言語機能を示すが、その性能は言語によって大きく異なる。
XLT (cross-lingual- Thought prompting) という,シンプルで効果的な方法を提案する。
XLTは汎用テンプレートプロンプトで、言語間および論理的推論スキルを刺激し、言語間のタスクパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2023-05-11T17:44:17Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。