論文の概要: AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging

• arxiv url: http://arxiv.org/abs/2402.18913v1
• Date: Thu, 29 Feb 2024 07:11:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 15:40:34.277240
• Title: AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
• Title（参考訳）: AdaMergeX:Adaptive Adapter Mergingによる大規模言語モデルによる言語間変換
• Authors: Yiran Zhao, Wenxuan Zhang, Huiming Wang, Kenji Kawaguchi, Lidong Bing
• Abstract要約: 言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。 本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。 実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 96.39773974044041
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As an effective alternative to the direct fine-tuning on target tasks in specific languages, cross-lingual transfer addresses the challenges of limited training data by decoupling ''task ability'' and ''language ability'' by fine-tuning on the target task in the source language and another selected task in the target language, respectively. However, they fail to fully separate the task ability from the source language or the language ability from the chosen task. In this paper, we acknowledge the mutual reliance between task ability and language ability and direct our attention toward the gap between the target language and the source language on tasks. As the gap removes the impact of tasks, we assume that it remains consistent across tasks. Based on this assumption, we propose a new cross-lingual transfer method called $\texttt{AdaMergeX}$ that utilizes adaptive adapter merging. By introducing a reference task, we can determine that the divergence of adapters fine-tuned on the reference task in both languages follows the same distribution as the divergence of adapters fine-tuned on the target task in both languages. Hence, we can obtain target adapters by combining the other three adapters. Furthermore, we propose a structure-adaptive adapter merging method. Our empirical results demonstrate that our approach yields new and effective cross-lingual transfer, outperforming existing methods across all settings.
• Abstract（参考訳）: 特定の言語における目標タスクの直接微調整の代替として、言語間移動は、対象タスクをソース言語で微調整し、ターゲット言語で選択したタスクをターゲット言語でそれぞれ「タスク能力」と「言語能力」を分離することで、限られたトレーニングデータの課題に対処する。 しかし、彼らは、タスク能力とソース言語、あるいは選択したタスクから言語能力を完全に分離することができない。 本稿では,タスク能力と言語能力の相互依存を認識し,タスクにおける対象言語とソース言語とのギャップに注意を向ける。 ギャップがタスクの影響をなくすため、タスク間で一貫性が保たれていると仮定する。 この仮定に基づき,適応型アダプタマージを利用する$\texttt{adamergex}$と呼ばれる新しい言語間転送手法を提案する。 参照タスクを導入することで、両方の言語で参照タスクに微調整されたアダプタの発散は、両方の言語でターゲットタスクに微調整されたアダプタの発散と同じ分布に従うと判断できる。 したがって、他の3つのアダプタを組み合わせることで、ターゲットアダプタを得ることができる。 さらに,構造適応型アダプタマージ手法を提案する。 実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。

関連論文リスト

• AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness [16.896143197472114]
  本稿では,アフリカとアジアの言語に対するセマンティックテキスト関連性(SemEval-2024 Task 1: Semantic Textual Relatedness)について述べる。 本稿では,限られたトレーニングデータの低リソース化問題に対処するために,機械翻訳によるデータ拡張を提案する。 我々のシステムは、サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において、すべてのチームの中で最善を尽くします。
  論文  参考訳（メタデータ） (2024-04-01T21:21:15Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Cross-Lingual Transfer with Target Language-Ready Task Adapters [66.5336029324059]
  MAD-Xフレームワークの拡張であるBAD-Xは、MAD-Xのモジュラリティを犠牲にして転送を改善する。 我々は、ターゲット言語に適応したタスクアダプタを微調整することで、両方の世界を最大限に活用することを目指している。
  論文  参考訳（メタデータ） (2023-06-05T10:46:33Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers [1.869621561196521]
  我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。 目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。 多言語とクロスリンガルの両方の設定のためのシステムを提出します。
  論文  参考訳（メタデータ） (2021-04-04T08:49:28Z)
• Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer [43.92142759245696]
  オーソラアダプタは、事前訓練されたトランスフォーマーのパラメータに格納されている知識を補完する言語やタスク固有の情報をエンコードするように訓練される。 本研究では,3つのタスク(POSタグ,NER,NLI)と10の多言語からなるゼロショット言語間移動実験を行い,特に最も複雑なNLIタスクにおいて,オーソラアダプタの有用性を示すとともに,最適アダプタ構成がタスクとターゲット言語に大きく依存していることを示した。
  論文  参考訳（メタデータ） (2020-12-11T16:32:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。