論文の概要: Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters

• arxiv url: http://arxiv.org/abs/2212.10448v1
• Date: Tue, 20 Dec 2022 17:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 16:52:22.310768
• Title: Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
• Title（参考訳）: アダプタを用いた言語間密検索のためのパラメータ効率の良いゼロショット転送
• Authors: Eugene Yang and Suraj Nair and Dawn Lawrie and James Mayfield and Douglas W. Oard
• Abstract要約: クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。 単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
• 参考スコア（独自算出の注目度）: 20.168480824057923
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A popular approach to creating a zero-shot cross-language retrieval model is to substitute a monolingual pretrained language model in the retrieval model with a multilingual pretrained language model such as Multilingual BERT. This multilingual model is fined-tuned to the retrieval task with monolingual data such as English MS MARCO using the same training recipe as the monolingual retrieval model used. However, such transferred models suffer from mismatches in the languages of the input text during training and inference. In this work, we propose transferring monolingual retrieval models using adapters, a parameter-efficient component for a transformer network. By adding adapters pretrained on language tasks for a specific language with task-specific adapters, prior work has shown that the adapter-enhanced models perform better than fine-tuning the entire model when transferring across languages in various NLP tasks. By constructing dense retrieval models with adapters, we show that models trained with monolingual data are more effective than fine-tuning the entire model when transferring to a Cross Language Information Retrieval (CLIR) setting. However, we found that the prior suggestion of replacing the language adapters to match the target language at inference time is suboptimal for dense retrieval models. We provide an in-depth analysis of this discrepancy between other cross-language NLP tasks and CLIR.
• Abstract（参考訳）: ゼロショット言語間検索モデルを作成する一般的なアプローチは、多言語bertのような多言語事前学習言語モデルを用いて、検索モデル内の単言語事前学習言語モデルを置き換えることである。 この多言語モデルは、英語MS MARCOのような単言語データを用いて、単言語検索モデルと同じトレーニングレシピを用いて検索タスクに微調整される。 しかし、そのような変換されたモデルは、トレーニングと推論中に入力テキストの言語でミスマッチする。 本稿では,トランスフォーマーネットワークのためのパラメータ効率の高いコンポーネントであるアダプタを用いて,単言語検索モデルを転送することを提案する。 タスク固有のアダプタで特定の言語の言語タスクに事前訓練されたアダプタを追加することで、様々なNLPタスクで言語間を移動する際に、アダプタが強化したモデルは、モデル全体を微調整するよりも優れたパフォーマンスを示す。 アダプタを用いて高密度検索モデルを構築することにより、クロス言語情報検索(CLIR)設定に移行する際に、モノリンガルデータで訓練されたモデルは、モデル全体を微調整するよりも効果的であることを示す。 しかし, 対象言語に適合する言語アダプタを, 推定時に置き換えるという先行提案は, 高密度検索モデルに最適でないことがわかった。 本稿では,他の言語間NLPタスクとCLIRとの相違点を詳細に分析する。

関連論文リスト

• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Efficient Adapter Finetuning for Tail Languages in Streaming Multilingual ASR [44.949146169903074]
  不均一な性質と異なる言語の不均衡なデータが、性能劣化を引き起こす可能性がある。 提案手法は,単語誤り率を平均12.2%,ローカライズで最大37.5%削減する。
  論文  参考訳（メタデータ） (2024-01-17T06:01:16Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Adapting Monolingual Models: Data can be Scarce when Language Similarity is High [3.249853429482705]
  ゼロショット転送学習の性能を,可能な限り少ないデータで検証する。 我々は、低リソースターゲット言語2種類のデータを用いて、BERTベースの4つのモデルの語彙層を再学習する。 高言語的類似性により、10MBのデータは、実質的なモノリンガル転送性能を達成するのに十分である。
  論文  参考訳（メタデータ） (2021-05-06T17:43:40Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。