論文の概要: Searching for Needles in a Haystack: On the Role of Incidental
Bilingualism in PaLM's Translation Capability
- arxiv url: http://arxiv.org/abs/2305.10266v1
- Date: Wed, 17 May 2023 14:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:21:37.732719
- Title: Searching for Needles in a Haystack: On the Role of Incidental
Bilingualism in PaLM's Translation Capability
- Title(参考訳): ヘイスタックにおける針の探索 : PaLM翻訳能力における偶発的バイリンガル主義の役割について
- Authors: Eleftheria Briakou, Colin Cherry, George Foster
- Abstract要約: 大規模言語モデルにおける偶発的バイリンガル主義の役割について検討する。
PaLMは少なくとも44言語で3000万以上の翻訳ペアに公開されています。
その存在が翻訳能力に重大な影響を与えていることを示すが、この影響はモデルスケールによって減少する。
- 参考スコア(独自算出の注目度): 16.01088313166145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large, multilingual language models exhibit surprisingly good zero- or
few-shot machine translation capabilities, despite having never seen the
intentionally-included translation examples provided to typical neural
translation systems. We investigate the role of incidental bilingualism -- the
unintentional consumption of bilingual signals, including translation examples
-- in explaining the translation capabilities of large language models, taking
the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method
approach to measure and understand incidental bilingualism at scale. We show
that PaLM is exposed to over 30 million translation pairs across at least 44
languages. Furthermore, the amount of incidental bilingual content is highly
correlated with the amount of monolingual in-language content for non-English
languages. We relate incidental bilingual content to zero-shot prompts and show
that it can be used to mine new prompts to improve PaLM's out-of-English
zero-shot translation quality. Finally, in a series of small-scale ablations,
we show that its presence has a substantial impact on translation capabilities,
although this impact diminishes with model scale.
- Abstract(参考訳): 大規模な多言語言語モデルは、典型的なニューラル翻訳システムに意図的に含まれる翻訳例を見たことがないにもかかわらず、驚くほど優れたゼロまたは少数ショットの機械翻訳能力を示す。
本研究では,多言語モデルの翻訳能力を説明するために,多言語モデル (PaLM) をケーススタディとして用いながら,二重言語信号の意図しない消費(翻訳例を含む)の役割について検討する。
我々は、大規模に付随するバイリンガル主義を計測し理解するための混合手法を導入する。
PaLMは少なくとも44言語で3000万以上の翻訳ペアに公開されています。
さらに、副次的二言語コンテンツの量は、非英語言語の単言語内コンテンツ量と高い相関関係にある。
本稿では、インシデントバイリンガルコンテンツをゼロショットプロンプトに関連付け、新しいプロンプトをマイニングして、英語のゼロショット翻訳品質を改善することができることを示す。
最後に、一連の小さなアブレーションにおいて、その存在が翻訳能力に大きな影響を与えることが示されているが、この影響はモデルスケールによって減少する。
関連論文リスト
- Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。
我々の研究は、Llama2の翻訳能力について論じている。
実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with
BERT [0.0]
言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。
我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。
そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
論文 参考訳(メタデータ) (2023-05-31T06:22:07Z) - Chain-of-Dictionary Prompting Elicits Translation in Large Language
Models [91.55398541853785]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した
入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳(メタデータ) (2023-05-11T05:19:47Z) - Hallucinations in Large Multilingual Translation Models [70.10455226752015]
大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。
野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。
幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
論文 参考訳(メタデータ) (2023-03-28T16:17:59Z) - Back-translation for Large-Scale Multilingual Machine Translation [2.8747398859585376]
本稿では,多言語間の共通表現がより優れた多言語翻訳性能をもたらすという仮説を用いて,単一の多言語翻訳システムを構築することを目的とする。
我々は、バイリンガル翻訳から多言語翻訳まで、さまざまなバック翻訳手法の探索を拡大する。
驚いたことに、語彙の小さい方がパフォーマンスが良くなり、モノリンガルの英語データも大幅に改善されている。
論文 参考訳(メタデータ) (2021-09-17T18:33:15Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳(メタデータ) (2021-03-18T21:17:58Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳(メタデータ) (2020-04-24T17:21:32Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳(メタデータ) (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。