論文の概要: The Impact of Language Adapters in Cross-Lingual Transfer for NLU
- arxiv url: http://arxiv.org/abs/2402.00149v1
- Date: Wed, 31 Jan 2024 20:07:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 17:39:42.801590
- Title: The Impact of Language Adapters in Cross-Lingual Transfer for NLU
- Title（参考訳）: 言語適応器がNLUの言語間移動に与える影響
- Authors: Jenny Kunz, Oskar Holmstr\"om
- Abstract要約: 2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。
本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。
学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
- 参考スコア（独自算出の注目度）: 0.8702432681310401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modular deep learning has been proposed for the efficient adaption of
pre-trained models to new tasks, domains and languages. In particular,
combining language adapters with task adapters has shown potential where no
supervised data exists for a language. In this paper, we explore the role of
language adapters in zero-shot cross-lingual transfer for natural language
understanding (NLU) benchmarks. We study the effect of including a
target-language adapter in detailed ablation studies with two multilingual
models and three multilingual datasets. Our results show that the effect of
target-language adapters is highly inconsistent across tasks, languages and
models. Retaining the source-language adapter instead often leads to an
equivalent, and sometimes to a better, performance. Removing the language
adapter after training has only a weak negative effect, indicating that the
language adapters do not have a strong impact on the predictions.
- Abstract（参考訳）: 新しいタスク、ドメイン、言語への事前学習モデルの効率的な適応のために、モジュール型ディープラーニングが提案されている。
特に、言語アダプタとタスクアダプタの組み合わせは、言語に教師付きデータが存在しない可能性を示している。
本稿では,自然言語理解(NLU)ベンチマークにおけるゼロショット言語間変換における言語アダプタの役割について検討する。
2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において,ターゲット言語アダプタを含める効果について検討した。
本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことがわかった。
ソース言語アダプタを保持することは、しばしば同等で、時にはより良いパフォーマンスをもたらす。
トレーニング後の言語アダプタの削除は弱いマイナス効果しかなく、言語アダプタが予測に強い影響を及ぼさないことを示している。
関連論文リスト
- AdaMergeX: Cross-Lingual Transfer with Large Language Models via
Adaptive Adapter Merging [96.39773974044041]
言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。
本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。
実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
論文 参考訳（メタデータ） (2024-02-29T07:11:24Z) - Cross-Lingual Transfer with Target Language-Ready Task Adapters [66.5336029324059]
MAD-Xフレームワークの拡張であるBAD-Xは、MAD-Xのモジュラリティを犠牲にして転送を改善する。
我々は、ターゲット言語に適応したタスクアダプタを微調整することで、両方の世界を最大限に活用することを目指している。
論文 参考訳（メタデータ） (2023-06-05T10:46:33Z) - Language-Universal Adapter Learning with Knowledge Distillation for
End-to-End Multilingual Speech Recognition [28.416831396722106]
本稿では,エンドツーエンドの多言語自動音声認識のための事前学習モデルに基づく言語・ユニバーサル適応学習フレームワークを提案する。
オンライン知識蒸留は、言語固有の特徴と普遍的な特徴の両方を学習するために使用される。
従来の多言語モデルと比較して、3.3%の絶対誤差率削減が達成されている。
論文 参考訳（メタデータ） (2023-02-28T14:43:49Z) - Parameter-efficient Zero-shot Transfer for Cross-Language Dense
Retrieval with Adapters [20.168480824057923]
クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。
単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
論文 参考訳（メタデータ） (2022-12-20T17:25:04Z) - Language-Family Adapters for Low-Resource Multilingual Neural Machine
Translation [129.99918589405675]
自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。
マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。
言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
論文 参考訳（メタデータ） (2022-09-30T05:02:42Z) - Multilingual Domain Adaptation for NMT: Decoupling Language and Domain
Information with Adapters [66.7986513246294]
機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。
部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
論文 参考訳（メタデータ） (2021-10-18T18:55:23Z) - Efficient Test Time Adapter Ensembling for Low-resource Language
Varieties [115.12997212870962]
多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。
直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。
本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
論文 参考訳（メタデータ） (2021-09-10T13:44:46Z) - Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。
パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
論文 参考訳（メタデータ） (2021-05-18T08:30:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。