論文の概要: Cross-Lingual Transfer with Target Language-Ready Task Adapters

• arxiv url: http://arxiv.org/abs/2306.02767v1
• Date: Mon, 5 Jun 2023 10:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:41:08.913484
• Title: Cross-Lingual Transfer with Target Language-Ready Task Adapters
• Title（参考訳）: 対象言語対応タスクアダプタによる言語間転送
• Authors: Marinela Parovi\'c, Alan Ansell, Ivan Vuli\'c, Anna Korhonen
• Abstract要約: MAD-Xフレームワークの拡張であるBAD-Xは、MAD-Xのモジュラリティを犠牲にして転送を改善する。 我々は、ターゲット言語に適応したタスクアダプタを微調整することで、両方の世界を最大限に活用することを目指している。
• 参考スコア（独自算出の注目度）: 66.5336029324059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapters have emerged as a modular and parameter-efficient approach to (zero-shot) cross-lingual transfer. The established MAD-X framework employs separate language and task adapters which can be arbitrarily combined to perform the transfer of any task to any target language. Subsequently, BAD-X, an extension of the MAD-X framework, achieves improved transfer at the cost of MAD-X's modularity by creating "bilingual" adapters specific to the source-target language pair. In this work, we aim to take the best of both worlds by (i) fine-tuning task adapters adapted to the target language(s) (so-called "target language-ready" (TLR) adapters) to maintain high transfer performance, but (ii) without sacrificing the highly modular design of MAD-X. The main idea of "target language-ready" adapters is to resolve the training-vs-inference discrepancy of MAD-X: the task adapter "sees" the target language adapter for the very first time during inference, and thus might not be fully compatible with it. We address this mismatch by exposing the task adapter to the target language adapter during training, and empirically validate several variants of the idea: in the simplest form, we alternate between using the source and target language adapters during task adapter training, which can be generalized to cycling over any set of language adapters. We evaluate different TLR-based transfer configurations with varying degrees of generality across a suite of standard cross-lingual benchmarks, and find that the most general (and thus most modular) configuration consistently outperforms MAD-X and BAD-X on most tasks and languages.
• Abstract（参考訳）: アダプタは(ゼロショット)言語間転送に対するモジュラーでパラメータ効率の良いアプローチとして登場した。 確立されたMAD-Xフレームワークは、任意のタスクを任意のターゲット言語に転送するために任意に結合できる言語とタスクアダプタを別々に採用している。 その後、MAD-Xフレームワークの拡張であるBAD-Xは、ソースとターゲットの言語ペアに固有の"ビルディングアル"アダプタを作成することにより、MAD-Xのモジュラリティを犠牲にして転送を改善する。 この作品では 両方の世界を最大限に活用し (i)目標言語に適応した微調整タスクアダプタ(いわゆる「ターゲット言語対応(TLR)」アダプタ)は、高い転送性能を維持するが、 (II)MAD-Xの高度にモジュール化された設計を犠牲にすることなく。 ターゲット言語対応"アダプタの主なアイデアは、mad-xのトレーニングvs参照の不一致を解決することだ。タスクアダプタは、推論中に初めてターゲット言語アダプタを"見る"ため、それと完全に互換性がない可能性がある。 このミスマッチに対処するために、トレーニング中にターゲット言語アダプタにタスクアダプタを公開し、最も単純な形式では、タスクアダプタトレーニング中にソースとターゲット言語アダプタを交互に使用し、任意の言語アダプタをサイクリングするために一般化することができる。 我々は、標準言語間ベンチマークのスイートにおいて、様々なTLRベースの転送構成を評価し、最も一般的な(そして最もモジュール化された)構成が、ほとんどのタスクや言語においてMAD-XとBAD-Xより一貫して優れていることを発見した。

関連論文リスト

• AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging [96.39773974044041]
  言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。 本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。 実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-29T07:11:24Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer [43.92142759245696]
  オーソラアダプタは、事前訓練されたトランスフォーマーのパラメータに格納されている知識を補完する言語やタスク固有の情報をエンコードするように訓練される。 本研究では,3つのタスク(POSタグ,NER,NLI)と10の多言語からなるゼロショット言語間移動実験を行い,特に最も複雑なNLIタスクにおいて,オーソラアダプタの有用性を示すとともに,最適アダプタ構成がタスクとターゲット言語に大きく依存していることを示した。
  論文  参考訳（メタデータ） (2020-12-11T16:32:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。