Fugu-MT 論文翻訳(概要): Marvelous Agglutinative Language Effect on Cross Lingual Transfer Learning

論文の概要: Marvelous Agglutinative Language Effect on Cross Lingual Transfer Learning

arxiv url: http://arxiv.org/abs/2204.03831v3
Date: Fri, 24 May 2024 07:13:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 00:41:01.406247
Title: Marvelous Agglutinative Language Effect on Cross Lingual Transfer Learning
Title（参考訳）: クロスリンガル・トランスファー学習におけるMarvelous Agglutinative Languageの効果
Authors: Wooyoung Kim, Chaerin Jo, Minjung Kim, Wooju Kim,
Abstract要約: 類似言語構造を持つ言語を使用することは,言語間移動学習に有効であることが知られている。韓国語などの凝集言語の使用は、言語間移動学習においてより効果的であることを示す。
参考スコア（独自算出の注目度）: 6.431993954439961
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As for multilingual language models, it is important to select languages for training because of the curse of multilinguality. It is known that using languages with similar language structures is effective for cross lingual transfer learning. However, we demonstrate that using agglutinative languages such as Korean is more effective in cross lingual transfer learning. This is a great discovery that will change the training strategy of cross lingual transfer learning.
Abstract（参考訳）: 多言語言語モデルについては、多言語性の呪いのため、訓練用言語を選択することが重要である。類似言語構造を持つ言語を使用することは,言語間移動学習に有効であることが知られている。しかし,韓国語などの凝集言語の使用は,言語間移動学習においてより効果的であることを示す。これは、言語間移行学習のトレーニング戦略を変える素晴らしい発見です。

関連論文リスト

Unknown Script: Impact of Script on Cross-Lingual Transfer [2.5398014196797605]
言語間移動は、言語間で知識を伝達する効果的な方法となっている。対象言語とそのスクリプトが事前訓練されたモデルの一部ではない場合を考える。この結果から, 共通スクリプト, 言語類似性, モデルサイズよりも, トークン化の重要性が示唆された。
論文参考訳（メタデータ） (2024-04-29T15:48:01Z)
CORI: CJKV Benchmark with Romanization Integration -- A step towards Cross-lingual Transfer Beyond Textual Scripts [50.44270798959864]
一部の言語は、他の言語よりも接続性が良く、ターゲット言語は、密接に関連する言語からの転送の恩恵を受けることができる。本研究では,言語間移動におけるソース言語の影響について検討し,対象言語と高い接触を持つソース言語を選択することの重要性を示す。
論文参考訳（メタデータ） (2024-04-19T04:02:50Z)
An Efficient Approach for Studying Cross-Lingual Transfer in Multilingual Language Models [26.72394783468532]
本稿では,他の対象言語に対するゼロショット性能における転送言語の影響を研究するためのテキスト効率の手法を提案する。以上の結果から,一部の言語,特に事前学習中に見つからない言語は,異なる対象言語に対して極めて有益あるいは有害である可能性が示唆された。
論文参考訳（メタデータ） (2024-03-29T09:52:18Z)
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? [50.48082721476612]
マルチリンガルBERT (mBERT) は, 言語間シンタクティックな機能を示した。我々は,mBERTから引き起こされる文法的関係の分布を,24言語に類型的に異なる文脈で検討した。
論文参考訳（メタデータ） (2022-12-21T09:44:08Z)
Towards continually learning new languages [66.36852845415916]
言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。我々は,破滅的忘れを抑えるために,重量分解特性と弾性重みの固化特性を組み合わせる。私たちは、すべての言語をゼロからトレーニングするのに比べ、破滅的な忘れものもなく、合理的なパフォーマンスで26の言語を達成しています。
論文参考訳（メタデータ） (2022-11-21T18:24:34Z)
Language Chameleon: Transformation analysis between languages using Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
論文参考訳（メタデータ） (2022-09-14T05:20:52Z)
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文参考訳（メタデータ） (2022-05-19T15:49:19Z)
Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文参考訳（メタデータ） (2022-03-16T07:09:35Z)
Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文参考訳（メタデータ） (2021-09-23T03:47:44Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。我々の表現は類型学を組み込み、言語関係と相関関係を強化する。次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。