論文の概要: Breaking the Language Barrier: Can Direct Inference Outperform
Pre-Translation in Multilingual LLM Applications?
- arxiv url: http://arxiv.org/abs/2403.04792v1
- Date: Mon, 4 Mar 2024 14:01:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 22:17:00.624450
- Title: Breaking the Language Barrier: Can Direct Inference Outperform
Pre-Translation in Multilingual LLM Applications?
- Title(参考訳): 言語バリアを破る:多言語LLMアプリケーションにおいて直接推論は事前翻訳より優れているか?
- Authors: Yotam Intrator, Matan Halfon, Roman Goldenberg, Reut Tsarfaty, Matan
Eyal, Ehud Rivlin, Yossi Matias, Natalia Aizenberg
- Abstract要約: 本研究では,PaLM2モデルの文脈における事前翻訳の必要性を再評価する。
PaLM2-Lは108言語中94言語で翻訳前の性能を一貫して上回っている。
- 参考スコア(独自算出の注目度): 17.828943682809882
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models hold significant promise in multilingual applications.
However, inherent biases stemming from predominantly English-centric
pre-training have led to the widespread practice of pre-translation, i.e.,
translating non-English inputs to English before inference, leading to
complexity and information loss. This study re-evaluates the need for
pre-translation in the context of PaLM2 models (Anil et al., 2023), which have
been established as highly performant in multilingual tasks. We offer a
comprehensive investigation across 108 languages and 6 diverse benchmarks,
including open-end generative tasks, which were excluded from previous similar
studies. Our findings challenge the pre-translation paradigm established in
prior research, highlighting the advantages of direct inference in PaLM2.
Specifically, PaLM2-L consistently outperforms pre-translation in 94 out of 108
languages. These findings pave the way for more efficient and effective
multilingual applications, alleviating the limitations associated with
pre-translation and unlocking linguistic authenticity.
- Abstract(参考訳): 大規模言語モデルは多言語アプリケーションにおいて大きな可能性を秘めている。
しかし、主に英語中心の事前学習から生じる固有のバイアスは、推論前に英語以外の入力を英語に翻訳するなど、翻訳前の広範囲にわたる実践につながった。
本研究は,多言語タスクにおいて高い性能が確立されている PaLM2 モデル (Anil et al., 2023) の文脈における事前翻訳の必要性を再評価する。
これまでの類似研究から除外されたオープンソース生成タスクを含む,108言語と6つの多様なベンチマークに関する包括的な調査を提供する。
本研究は,paLM2における直接推論の利点を浮き彫りにして,事前翻訳のパラダイムに挑戦するものである。
具体的には、PaLM2-Lは108言語中94言語において、翻訳前よりも一貫して優れている。
これらの発見は、より効率的で効果的な多言語応用への道を開き、翻訳前の制限を緩和し、言語の真正性を解き放つ。
関連論文リスト
- Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient
Generative LLM Inference [42.9131507906874]
State-of-the-the-art Generative Large Language Model (LLM) は、英語中心のトークン化器、語彙、事前学習データに依存している。
近年の研究では、英語以外の言語でテキストを生成する際に、推論効率が低下することが示されている。
下流の性能向上を目的としたターゲット言語にモデルを適用するための言語間語彙適応法が提案されている。
論文 参考訳(メタデータ) (2024-02-16T14:15:15Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning:
Insights and Observations [90.73517523001149]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
翻訳を利用して,最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
我々は、MathOctopusという名の強力なxMR LLMを構築するための異なるトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-10-31T08:09:20Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳(メタデータ) (2022-04-16T16:08:38Z) - Multilingual unsupervised sequence segmentation transfers to extremely
low-resource languages [0.0]
Masked Segmental Language Modelを多言語で事前学習することで、教師なしシーケンスセグメンテーションのパフォーマンスを極端に低リソース言語に変換することができる。
対象言語とタイプ論的に類似しているが系統学的には無関係) な低リソース言語群を学習することにより, この移行を実現することができることを示す。
論文 参考訳(メタデータ) (2021-10-16T00:08:28Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳(メタデータ) (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。