論文の概要: Efficient Test Time Adapter Ensembling for Low-resource Language Varieties

• arxiv url: http://arxiv.org/abs/2109.04877v1
• Date: Fri, 10 Sep 2021 13:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 16:59:53.170356
• Title: Efficient Test Time Adapter Ensembling for Low-resource Language Varieties
• Title（参考訳）: 低リソース言語品種のための効率的なテスト時間アダプタ
• Authors: Xinyi Wang and Yulia Tsvetkov and Sebastian Ruder and Graham Neubig
• Abstract要約: 多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
• 参考スコア（独自算出の注目度）: 115.12997212870962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapters are light-weight modules that allow parameter-efficient fine-tuning of pretrained models. Specialized language and task adapters have recently been proposed to facilitate cross-lingual transfer of multilingual pretrained models (Pfeiffer et al., 2020b). However, this approach requires training a separate language adapter for every language one wishes to support, which can be impractical for languages with limited data. An intuitive solution is to use a related language adapter for the new language variety, but we observe that this solution can lead to sub-optimal performance. In this paper, we aim to improve the robustness of language adapters to uncovered languages without training new adapters. We find that ensembling multiple existing language adapters makes the fine-tuned model significantly more robust to other language varieties not included in these adapters. Building upon this observation, we propose Entropy Minimized Ensemble of Adapters (EMEA), a method that optimizes the ensemble weights of the pretrained language adapters for each test sentence by minimizing the entropy of its predictions. Experiments on three diverse groups of language varieties show that our method leads to significant improvements on both named entity recognition and part-of-speech tagging across all languages.
• Abstract（参考訳）: アダプタは、事前訓練されたモデルのパラメータ効率の良い微調整を可能にする軽量モジュールである。 近年,多言語事前学習モデル(Pfeiffer et al., 2020b)の言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 しかしこのアプローチでは,サポートしたいすべての言語に対して,独立した言語アダプタをトレーニングする必要がある。 直感的な解決策は、新しい言語の種類に関連言語アダプタを使用することであるが、このソリューションが準最適性能をもたらすことを観察する。 本稿では,新たなアダプタをトレーニングすることなく,発見言語に対する言語アダプタの堅牢性を向上させることを目的とする。 複数の既存言語アダプタをアンサンブルすることで、これらのアダプタに含まれない他の言語品種に対して、微調整されたモデルが大幅に堅牢になることがわかった。 そこで本研究では,各文に対して事前学習した言語アダプタのアンサンブル重みを最適化する手法であるemea(entropy minimumd ensemble of adapters)を提案する。 言語変種を多種に分けた3つの実験により,提案手法はすべての言語において,名前付きエンティティ認識とパート・オブ・音声タギングの両方に大きな改善をもたらすことが示された。

関連論文リスト

• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Adapting the adapters for code-switching in multilingual ASR [10.316724084739892]
  訓練済みの大規模多言語音声モデルは、多くの低リソース言語に自動音声認識を拡張できる可能性を示している。 これらのモデルのいくつかは、言語アダプタを定式化に用い、モノリンガルのパフォーマンスを改善するのに役立つ。 この定式化は、2つの言語が同じ発話で混在するコードスイッチト音声におけるこれらのモデルのユーザビリティを制限する。 提案手法は,ネットワーク内の各言語適応点において,両言語アダプタからの情報を同調することにより,コード切替音声上でそのようなモデルを効果的に微調整する方法である。
  論文  参考訳（メタデータ） (2023-10-11T12:15:24Z)
• Multilingual Detection of Check-Worthy Claims using World Languages and Adapter Fusion [12.269362823116225]
  非世界の言語に対する資源不足とモデル学習コストは、多言語チェックの安全性検出をサポートするモデルを作成する上で大きな課題である。 本稿では,複数の言語でグローバルに出現するクレームを検出するために,アダプティブ融合と組み合わさった世界言語サブセットのクロストレーニングアダプタを提案する。
  論文  参考訳（メタデータ） (2023-01-13T11:50:08Z)
• Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters [20.168480824057923]
  クロスランゲージ検索モデルを作成するための一般的なアプローチは、モノリンガル事前学習言語モデルを検索モデルに置き換えることである。 単言語データを用いて学習したモデルは、クロスランゲージ情報検索設定に移行する際に、モデル全体を微調整するよりも効果的であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:25:04Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Lightweight Adapter Tuning for Multilingual Speech Translation [47.89784337058167]
  適応モジュールはNLPのファインチューニングの代替として最近導入された。 本稿では,多言語音声翻訳用アダプタの包括的解析を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:51:42Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。