論文の概要: Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer
- arxiv url: http://arxiv.org/abs/2205.12148v1
- Date: Tue, 24 May 2022 15:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 19:30:35.807440
- Title: Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer
- Title（参考訳）: Hyper-X:マルチタスク多言語転送のための統一ハイパーネットワーク
- Authors: Ahmet \"Ust\"un, Arianna Bisazza, Gosse Bouma, Gertjan van Noord,
Sebastian Ruder
- Abstract要約: マルチランガルモデルは タスクや言語間での 学習の伝達を約束しています
既存の手法では、異なるタスク言語の組み合わせで利用できる場合、トレーニングデータを十分に活用できない。
タスクと言語埋め込みの両方で条件付きパラメータ効率の高いアダプタモジュールの重みを生成するハイパーネットワークであるHyper-Xを提案する。
- 参考スコア（独自算出の注目度）: 31.880415666994804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Massively multilingual models are promising for transfer learning across
tasks and languages. However, existing methods are unable to fully leverage
training data when it is available in different task-language combinations. To
exploit such heterogeneous supervision we propose Hyper-X, a unified
hypernetwork that generates weights for parameter-efficient adapter modules
conditioned on both tasks and language embeddings. By learning to combine task
and language-specific knowledge our model enables zero-shot transfer for unseen
languages and task-language combinations. Our experiments on a diverse set of
languages demonstrate that Hyper-X achieves the best gain when a mixture of
multiple resources is available while performing on par with strong baselines
in the standard scenario. Finally, Hyper-X consistently produces strong results
in few-shot scenarios for new languages and tasks showing the effectiveness of
our approach beyond zero-shot transfer.
- Abstract（参考訳）: 大規模多言語モデルでは,タスクや言語間での学習の転送が期待できる。
しかし、既存の手法では、異なるタスク言語の組み合わせで利用できる場合、トレーニングデータを完全に活用できない。
このような不均一な監視を活用するために,タスクと言語埋め込みの両方で条件付きパラメータ効率の高いアダプタモジュールの重みを生成するハイパーネットワークHyper-Xを提案する。
タスクと言語固有の知識を組み合わせることで、我々のモデルは目に見えない言語とタスク言語の組み合わせのゼロショット転送を可能にします。
多様な言語に対する我々の実験は、Hyper-Xが標準シナリオの強いベースラインと同等の性能を保ちながら、複数のリソースが混在している場合、最高のゲインを達成することを示した。
最後に、hyper-xはゼロショット転送以上のアプローチの有効性を示す新しい言語やタスクの数少ないシナリオにおいて一貫して強力な結果をもたらします。
関連論文リスト
- Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。
確立された英語GQAデータセットを7言語に拡張する。
本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:58:21Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable
Hyper Projections [96.64246471034195]
我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。
本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
論文 参考訳（メタデータ） (2020-07-12T02:49:16Z) - MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。
MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
論文 参考訳（メタデータ） (2020-04-30T18:54:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。