Fugu-MT 論文翻訳(概要): Data-Efficient Cross-Lingual Transfer with Language-Specific Subnetworks

論文の概要: Data-Efficient Cross-Lingual Transfer with Language-Specific Subnetworks

arxiv url: http://arxiv.org/abs/2211.00106v1
Date: Mon, 31 Oct 2022 19:23:33 GMT
ステータス: 処理完了
システム内更新日: 2022-11-02 13:52:12.034567
Title: Data-Efficient Cross-Lingual Transfer with Language-Specific Subnetworks
Title（参考訳）: 言語固有のサブネットワークを用いたデータ効率の高い言語間転送
Authors: Rochelle Choenni, Dan Garrette, Ekaterina Shutova
Abstract要約: 大規模多言語言語モデルは通常、そのパラメータをすべての言語で共有し、言語間タスク転送を可能にする。本稿では,言語間パラメータ共有を制御する言語特化工法を提案する。我々は,メタラーニング(メタラーニング,メタラーニング,メタラーニング,メタラーニング)と組み合わせて,言語間移動を改善する手法を提案する。
参考スコア（独自算出の注目度）: 16.8212280804151
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large multilingual language models typically share their parameters across all languages, which enables cross-lingual task transfer, but learning can also be hindered when training updates from different languages are in conflict. In this paper, we propose novel methods for using language-specific subnetworks, which control cross-lingual parameter sharing, to reduce conflicts and increase positive transfer during fine-tuning. We introduce dynamic subnetworks, which are jointly updated with the model, and we combine our methods with meta-learning, an established, but complementary, technique for improving cross-lingual transfer. Finally, we provide extensive analyses of how each of our methods affects the models.
Abstract（参考訳）: 大規模多言語言語モデルは通常、言語間タスク転送を可能にするため、すべての言語でパラメータを共有するが、異なる言語からの更新をトレーニングする際にも学習が妨げられる。本稿では,言語間パラメータ共有を制御する言語固有のサブネットワークを用いて,コンフリクトの低減と微調整時の肯定的な転送を促進する手法を提案する。我々は,このモデルと共同で更新される動的サブネットワークを導入し,その手法とメタラーニングを組み合わせることにより,言語間伝達を改善する手法を提案する。最後に、各手法がモデルにどのように影響するかを広範囲に分析する。

関連論文リスト

CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment [38.35458193262633]
英語中心のモデルは、通常他の言語では準最適である。そこで本研究では,言語間命令チューニングデータの混合合成を利用したCrossInという新しい手法を提案する。
論文参考訳（メタデータ） (2024-04-18T06:20:50Z)
DiTTO: A Feature Representation Imitation Approach for Improving Cross-Lingual Transfer [15.062937537799005]
ゼロショット転送を改善するためのドメインとしての言語。我々のアプローチであるDiTTOは、標準のゼロショット微調整法よりも大幅に優れていることを示す。我々のモデルは、数ショット設定であっても、標準的な微調整法よりも言語間移動がより良くできる。
論文参考訳（メタデータ） (2023-03-04T08:42:50Z)
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。我々のモデルは、$N$言語で並列データを操作する。本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文参考訳（メタデータ） (2022-12-21T02:41:40Z)
On the cross-lingual transferability of multilingual prototypical models across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文参考訳（メタデータ） (2022-07-19T09:55:04Z)
Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文参考訳（メタデータ） (2022-05-23T09:25:43Z)
Adaptive Sparse Transformer for Multilingual Translation [18.017674093519332]
多言語モデルの既知の課題は、否定的な言語干渉です。多言語モデリングのための適応的でスパースなアーキテクチャを提案する。我々のモデルは、推論コストを増加させることなく、翻訳品質の点で強力なベースラインを上回る。
論文参考訳（メタデータ） (2021-04-15T10:31:07Z)
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling [12.497781134446898]
本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
論文参考訳（メタデータ） (2021-04-13T14:49:26Z)
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文参考訳（メタデータ） (2020-11-23T16:00:42Z)
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文参考訳（メタデータ） (2020-10-30T03:41:38Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)
InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。コントラスト学習に基づく新しい事前学習課題を提案する。単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
論文参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。