論文の概要: Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

• arxiv url: http://arxiv.org/abs/2305.10266v1
• Date: Wed, 17 May 2023 14:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 15:21:37.732719
• Title: Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
• Title（参考訳）: ヘイスタックにおける針の探索 : PaLM翻訳能力における偶発的バイリンガル主義の役割について
• Authors: Eleftheria Briakou, Colin Cherry, George Foster
• Abstract要約: 大規模言語モデルにおける偶発的バイリンガル主義の役割について検討する。 PaLMは少なくとも44言語で3000万以上の翻訳ペアに公開されています。 その存在が翻訳能力に重大な影響を与えていることを示すが、この影響はモデルスケールによって減少する。
• 参考スコア（独自算出の注目度）: 16.01088313166145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.
• Abstract（参考訳）: 大規模な多言語言語モデルは、典型的なニューラル翻訳システムに意図的に含まれる翻訳例を見たことがないにもかかわらず、驚くほど優れたゼロまたは少数ショットの機械翻訳能力を示す。 本研究では,多言語モデルの翻訳能力を説明するために,多言語モデル (PaLM) をケーススタディとして用いながら,二重言語信号の意図しない消費(翻訳例を含む)の役割について検討する。 我々は、大規模に付随するバイリンガル主義を計測し理解するための混合手法を導入する。 PaLMは少なくとも44言語で3000万以上の翻訳ペアに公開されています。 さらに、副次的二言語コンテンツの量は、非英語言語の単言語内コンテンツ量と高い相関関係にある。 本稿では、インシデントバイリンガルコンテンツをゼロショットプロンプトに関連付け、新しいプロンプトをマイニングして、英語のゼロショット翻訳品質を改善することができることを示す。 最後に、一連の小さなアブレーションにおいて、その存在が翻訳能力に大きな影響を与えることが示されているが、この影響はモデルスケールによって減少する。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
  大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。 我々の研究は、Llama2の翻訳能力について論じている。 実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T16:32:38Z)
• SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
  言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-05-31T06:22:07Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Hallucinations in Large Multilingual Translation Models [70.10455226752015]
  大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-28T16:17:59Z)
• Back-translation for Large-Scale Multilingual Machine Translation [2.8747398859585376]
  本稿では,多言語間の共通表現がより優れた多言語翻訳性能をもたらすという仮説を用いて,単一の多言語翻訳システムを構築することを目的とする。 我々は、バイリンガル翻訳から多言語翻訳まで、さまざまなバック翻訳手法の探索を拡大する。 驚いたことに、語彙の小さい方がパフォーマンスが良くなり、モノリンガルの英語データも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-17T18:33:15Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。