論文の概要: Marvelous Agglutinative Language Effect on Cross Lingual Transfer
Learning
- arxiv url: http://arxiv.org/abs/2204.03831v1
- Date: Fri, 8 Apr 2022 04:04:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-11 12:42:53.162116
- Title: Marvelous Agglutinative Language Effect on Cross Lingual Transfer
Learning
- Title(参考訳): クロスリンガル・トランスファー学習におけるMarvelous Agglutinative Languageの効果
- Authors: Wooyoung Kim, Chaerin Jo, Minjung Kim and Wooju Kim
- Abstract要約: 類似言語構造を持つ言語を使用することは,言語間移動学習に有効であることが知られている。
韓国語などの凝集言語の使用は、言語間移動学習においてより効果的であることを示す。
- 参考スコア(独自算出の注目度): 6.15560473113783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As for multilingual language models, it is important to select languages for
training because of the curse of multilinguality. (Conneau et al., 2020). It is
known that using languages with similar language structures is effective for
cross lingual transfer learning (Pires et al., 2019). However, we demonstrate
that using agglutinative languages such as Korean is more effective in cross
lingual transfer learning. This is a great discovery that will change the
training strategy of cross lingual transfer learning.
- Abstract(参考訳): 多言語モデルについては、多言語性の呪いから訓練用言語を選択することが重要である。
(Conneau et al., 2020)。
類似言語構造を持つ言語を使用することは、言語間移動学習に有効であることが知られている(Pires et al., 2019)。
しかし,韓国語などの凝集言語の使用は,言語間移動学習においてより効果的であることを示す。
これは、言語間移行学習のトレーニング戦略を変える素晴らしい発見です。
関連論文リスト
- Continually learning new languages [81.0475211743228]
言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。
我々は,破滅的な忘れを抑えるために,重み分解,伝達学習,弾性重み統合の特質を組み合わせる。
論文 参考訳(メタデータ) (2022-11-21T18:24:34Z) - Language Chameleon: Transformation analysis between languages using
Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。
結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
論文 参考訳(メタデータ) (2022-09-14T05:20:52Z) - How Do Multilingual Encoders Learn Cross-lingual Representation? [8.409283426564977]
言語間転送は、他言語からの転送によって、トレーニングデータをほとんど、あるいは全く持たない言語に恩恵を与える。
この論文はまず、様々なタスクにおける先行技術と比較して、驚くべき言語間効果を示す。
また、多言語エンコーダに異なる言語間信号を注入する方法や、これらのモデルを用いた言語間転送の最適化挙動についても検討する。
論文 参考訳(メタデータ) (2022-07-12T17:57:05Z) - Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文 参考訳(メタデータ) (2022-05-23T09:25:43Z) - Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。
我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文 参考訳(メタデータ) (2022-05-19T15:49:19Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳(メタデータ) (2022-03-16T07:09:35Z) - Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。
本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文 参考訳(メタデータ) (2021-09-23T03:47:44Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。