論文の概要: Multilingual Machine Translation with Hyper-Adapters

• arxiv url: http://arxiv.org/abs/2205.10835v1
• Date: Sun, 22 May 2022 14:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 17:11:52.807769
• Title: Multilingual Machine Translation with Hyper-Adapters
• Title（参考訳）: ハイパーアダプタを用いた多言語機械翻訳
• Authors: Christos Baziotis, Mikel Artetxe, James Cross, Shruti Bhosale
• Abstract要約: ハイパーアダプタ -- 言語やレイヤの埋め込みからアダプタを生成するハイパーネットワーク。 ハイパーアダプタは、通常のアダプタよりもパラメータ効率が良く、最大12倍のパラメータで同じ性能に達することがわかりました。 分析の結果,ハイパーアダプタは言語関連性を符号化し,言語間の肯定的な伝達を可能にすることがわかった。
• 参考スコア（独自算出の注目度）: 33.43152442924632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual machine translation suffers from negative interference across languages. A common solution is to relax parameter sharing with language-specific modules like adapters. However, adapters of related languages are unable to transfer information, and their total number of parameters becomes prohibitively expensive as the number of languages grows. In this work, we overcome these drawbacks using hyper-adapters -- hyper-networks that generate adapters from language and layer embeddings. While past work had poor results when scaling hyper-networks, we propose a rescaling fix that significantly improves convergence and enables training larger hyper-networks. We find that hyper-adapters are more parameter efficient than regular adapters, reaching the same performance with up to 12 times less parameters. When using the same number of parameters and FLOPS, our approach consistently outperforms regular adapters. Also, hyper-adapters converge faster than alternative approaches and scale better than regular dense networks. Our analysis shows that hyper-adapters learn to encode language relatedness, enabling positive transfer across languages.
• Abstract（参考訳）: 多言語機械翻訳は言語間の負の干渉に苦しむ。 一般的な解決策は、アダプタのような言語固有のモジュールとのパラメータ共有を緩和することだ。 しかし,関連言語のアダプタでは情報伝達が不可能であり,言語数の増加に伴い,パラメータの総数は不当に高価になる。 本研究では、言語と層埋め込みからアダプタを生成するハイパーネットワークであるハイパーアダプタを使って、これらの欠点を克服する。 ハイパーネットワークのスケーリングでは,過去の作業は不十分であったが,コンバージェンスを大幅に改善し,より大きなハイパーネットワークのトレーニングを可能にする再スケーリング修正を提案する。 ハイパーアダプタは通常のアダプタよりもパラメータ効率が良く,最大12分の1のパラメータで同じパフォーマンスを実現しています。 同じ数のパラメータとFLOPSを使用する場合、我々の手法は通常のアダプタよりも一貫して優れている。 また、ハイパーアダプタは、他のアプローチよりも早く収束し、通常の高密度ネットワークよりもスケールする。 分析の結果,ハイパーアダプタは言語関連性をエンコードすることを学び,言語間の正の転送を可能にした。

関連論文リスト

• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Cross-Lingual Transfer with Target Language-Ready Task Adapters [66.5336029324059]
  MAD-Xフレームワークの拡張であるBAD-Xは、MAD-Xのモジュラリティを犠牲にして転送を改善する。 我々は、ターゲット言語に適応したタスクアダプタを微調整することで、両方の世界を最大限に活用することを目指している。
  論文  参考訳（メタデータ） (2023-06-05T10:46:33Z)
• $m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter [128.69723410769586]
  多言語ニューラルネットワーク翻訳モデル(MNMT)は、ドメインと言語ペアのデータに基づいて評価すると、最先端の性能が得られる。 ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、パフォーマンスが劇的に低下する。 我々はメタラーニングとアダプタを用いたドメイン知識と言語知識を組み合わせた$m4Adapter$を提案する。
  論文  参考訳（メタデータ） (2022-10-21T12:25:05Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer [31.880415666994804]
  マルチランガルモデルは タスクや言語間での 学習の伝達を約束しています 既存の手法では、異なるタスク言語の組み合わせで利用できる場合、トレーニングデータを十分に活用できない。 タスクと言語埋め込みの両方で条件付きパラメータ効率の高いアダプタモジュールの重みを生成するハイパーネットワークであるHyper-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:28:09Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。