論文の概要: Do Multilingual Language Models Think Better in English?

• arxiv url: http://arxiv.org/abs/2308.01223v1
• Date: Wed, 2 Aug 2023 15:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 12:21:34.458970
• Title: Do Multilingual Language Models Think Better in English?
• Title（参考訳）: 多言語言語モデルは英語でより良く考えるか?
• Authors: Julen Etxaniz, Gorka Azkune, Aitor Soroa, Oier Lopez de Lacalle, Mikel Artetxe
• Abstract要約: 翻訳テストは多言語言語モデルの性能を向上させるための一般的な手法である。 本研究では,外部翻訳システムの必要性を克服する自己翻訳という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 24.713751471567395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Translate-test is a popular technique to improve the performance of multilingual language models. This approach works by translating the input into English using an external machine translation system, and running inference over the translated input. However, these improvements can be attributed to the use of a separate translation system, which is typically trained on large amounts of parallel data not seen by the language model. In this work, we introduce a new approach called self-translate, which overcomes the need of an external translation system by leveraging the few-shot translation capabilities of multilingual language models. Experiments over 5 tasks show that self-translate consistently outperforms direct inference, demonstrating that language models are unable to leverage their full multilingual potential when prompted in non-English languages. Our code is available at https://github.com/juletx/self-translate.
• Abstract（参考訳）: 翻訳テストは多言語言語モデルの性能を向上させるための一般的な手法である。 このアプローチは、外部機械翻訳システムを使用して入力を英語に翻訳し、翻訳された入力に対して推論を実行する。 しかし、これらの改善は、言語モデルでは見られない大量の並列データを訓練する独立した翻訳システムの使用に起因する可能性がある。 本研究では,多言語モデルの数ショット翻訳機能を活用することで,外部翻訳システムの必要性を克服する,自己翻訳と呼ばれる新しい手法を提案する。 5つのタスクの実験では、自己翻訳が直接推論より一貫して優れており、非英語言語で促されるとき、言語モデルが完全な多言語ポテンシャルを活用できないことが示されている。 私たちのコードはhttps://github.com/juletx/self-translateで利用可能です。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Improving Language Model Integration for Neural Machine Translation [43.85486035238116]
  暗黙的な言語モデルの説明は言語モデル融合の性能を大幅に向上させることを示す。 暗黙的な言語モデルの説明は言語モデル融合の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-06-08T10:00:19Z)
• XNLI 2.0: Improving XNLI dataset and performance on Cross Lingual Understanding (XLU) [0.0]
  我々は、XNLIに存在する14の言語すべてでMNLIデータセットを再翻訳することで、元のXNLIデータセットの改善に注力する。 また、15言語すべてでモデルを訓練し、自然言語推論のタスクでそれらの性能を分析する実験を行った。
  論文  参考訳（メタデータ） (2023-01-16T17:24:57Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Should we Stop Training More Monolingual Models, and Simply Use Machine Translation Instead? [2.62121275102348]
  機械翻訳は成熟した技術であり、低リソース言語のためのネイティブ言語モデルのトレーニングに深刻な反論を提起する。 英語モデルは前例のないペースで改善され、機械翻訳が改善されているため、低リソース言語からのデータを英語に翻訳することが経験的で環境的な観点からより効果的です。
  論文  参考訳（メタデータ） (2021-04-21T10:21:24Z)
• Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution [16.939016405962526]
  多言語機械翻訳モデルの言語能力を拡張するための簡単な語彙適応スキームを提案する。 提案手法は大規模データセットに適合し,未知のスクリプトを持つ遠隔言語に適用し,元の言語ペアの翻訳性能をわずかに低下させるだけである。
  論文  参考訳（メタデータ） (2021-03-11T17:10:21Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。