論文の概要: Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval

• arxiv url: http://arxiv.org/abs/2204.02292v1
• Date: Tue, 5 Apr 2022 15:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 14:56:16.187172
• Title: Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
• Title（参考訳）: 言語横断検索と多言語検索のためのパラメータ効率の良いニューラルリグレード
• Authors: Robert Litschko and Ivan Vuli\'c and Goran Glava\v{s}
• Abstract要約: 最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
• 参考スコア（独自算出の注目度）: 66.69799641522133
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: State-of-the-art neural (re)rankers are notoriously data hungry which - given the lack of large-scale training data in languages other than English - makes them rarely used in multilingual and cross-lingual retrieval settings. Current approaches therefore typically transfer rankers trained on English data to other languages and cross-lingual setups by means of multilingual encoders: they fine-tune all the parameters of a pretrained massively multilingual Transformer (MMT, e.g., multilingual BERT) on English relevance judgments and then deploy it in the target language. In this work, we show that two parameter-efficient approaches to cross-lingual transfer, namely Sparse Fine-Tuning Masks (SFTMs) and Adapters, allow for a more lightweight and more effective zero-shot transfer to multilingual and cross-lingual retrieval tasks. We first train language adapters (or SFTMs) via Masked Language Modelling and then train retrieval (i.e., reranking) adapters (SFTMs) on top while keeping all other parameters fixed. At inference, this modular design allows us to compose the ranker by applying the task adapter (or SFTM) trained with source language data together with the language adapter (or SFTM) of a target language. Besides improved transfer performance, these two approaches offer faster ranker training, with only a fraction of parameters being updated compared to full MMT fine-tuning. We benchmark our models on the CLEF-2003 benchmark, showing that our parameter-efficient methods outperform standard zero-shot transfer with full MMT fine-tuning, while enabling modularity and reducing training times. Further, we show on the example of Swahili and Somali that, for low(er)-resource languages, our parameter-efficient neural re-rankers can improve the ranking of the competitive machine translation-based ranker.
• Abstract（参考訳）: 最先端のニューラルネットワーク(リランカ)は、英語以外の言語で大規模なトレーニングデータが不足していることを考えると、多言語や言語横断の検索設定ではほとんど使われない、という悪名高いデータである。 したがって、現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダによって他言語に転送し、英語の関連判断に基づいて事前訓練された多言語変換器(MMT、例えば多言語BERT)のパラメータをすべて微調整し、ターゲット言語に展開する。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) という,多言語・多言語検索タスクへのより軽量で効果的なゼロショット転送を実現するためのパラメータ効率のよい2つの手法を提案する。 まず、Masked Language Modellingを介して言語アダプタ(またはSFTM)をトレーニングし、次に、他のすべてのパラメータを固定しながら、その上に再ランク付けされたアダプタ(SFTM)をトレーニングします。 このモジュラー設計により、ターゲット言語の言語アダプタ(SFTM)とともに、ソースコードデータで訓練されたタスクアダプタ(SFTM)を適用することで、ローダを構成することができる。 転送性能の改善に加えて、これらの2つのアプローチはより高速なローダトレーニングを提供する。 CLEF-2003ベンチマークでは,パラメータ効率が標準ゼロショット転送より優れ,MMTファインチューニングに優れ,モジュラリティを実現し,トレーニング時間を短縮した。 さらに、スワヒリとソマリの例において、低(er)リソース言語では、パラメータ効率のよいニューラルリランカが競合機械翻訳に基づくランク付けを向上できることを示す。

関連論文リスト

• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Parameter-Efficient Cross-lingual Transfer of Vision and Language Models via Translation-based Alignment [31.885608173448368]
  CLIPのような事前訓練された視覚と言語モデルは、画像とテキストを英語のテキストに焦点を合わせることに顕著な成功を収めた。 異なる言語間のパフォーマンスの格差は、不均一なリソース可用性のために観測されている。 翻訳に基づくアライメント手法を用いて,多言語差を緩和するパラメータ効率のよい多言語間移動学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-02T14:09:02Z)
• Language-Aware Multilingual Machine Translation with Self-Supervised Learning [13.250011906361273]
  多言語機械翻訳(MMT)は言語間変換の利点があるが、マルチタスク最適化の問題である。 自己教師付き学習アプローチは,MTタスクの補完タスクとして翻訳性能を向上させることで,有望であることを示す。 本稿では,エンコーダとデコーダの両方に単一言語データを同時に記述することで,MTタスクと協調学習を行う,新しい単純なSSLタスクを提案する。
  論文  参考訳（メタデータ） (2023-02-10T01:34:24Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Multilingual Transfer Learning for QA Using Translation as Data Augmentation [13.434957024596898]
  我々は,多言語組込みを意味空間に近づけることで,言語間伝達を改善する戦略を検討する。 言語敵対的トレーニングと言語仲裁フレームワークという2つの新しい戦略を提案し、(ゼロリソースの)クロスリンガルトランスファーのパフォーマンスを大幅に改善します。 実験により,提案モデルは,最近導入された多言語MLQAデータセットとTyDiQAデータセットにおいて,以前のゼロショットベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-10T20:29:34Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。