論文の概要: Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer
- arxiv url: http://arxiv.org/abs/2105.05975v1
- Date: Wed, 12 May 2021 21:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-15 02:04:03.000364
- Title: Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer
- Title（参考訳）: 言語的特徴が言語間伝達に与える影響の分析
- Authors: B{\l}a\.zej Dolicki and Gerasimos Spanakis
- Abstract要約: 我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。
また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
- 参考スコア（独自算出の注目度）: 3.299672391663527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is an increasing amount of evidence that in cases with little or no
data in a target language, training on a different language can yield
surprisingly good results. However, currently there are no established
guidelines for choosing the training (source) language. In attempt to solve
this issue we thoroughly analyze a state-of-the-art multilingual model and try
to determine what impacts good transfer between languages. As opposed to the
majority of multilingual NLP literature, we don't only train on English, but on
a group of almost 30 languages. We show that looking at particular syntactic
features is 2-4 times more helpful in predicting the performance than an
aggregated syntactic similarity. We find out that the importance of syntactic
features strongly differs depending on the downstream task - no single feature
is a good performance predictor for all NLP tasks. As a result, one should not
expect that for a target language $L_1$ there is a single language $L_2$ that
is the best choice for any NLP task (for instance, for Bulgarian, the best
source language is French on POS tagging, Russian on NER and Thai on NLI). We
discuss the most important linguistic features affecting the transfer quality
using statistical and machine learning methods.
- Abstract（参考訳）: 対象言語にデータが少ない、あるいは全くない場合には、異なる言語でのトレーニングが驚くほど良い結果をもたらすという証拠が増えている。
しかしながら、現在トレーニング(ソース)言語を選択するための確立したガイドラインは存在しない。
この問題を解決するため,我々は最先端の多言語モデルを分析し,言語間の良好な伝達にどのような影響を及ぼすかを見極めようとする。
多言語NLP文学の大多数とは対照的に、私たちは英語だけでなく、約30言語のグループでトレーニングしています。
また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
構文的特徴の重要性は下流のタスクによって大きく異なり、すべてのNLPタスクに対して優れたパフォーマンス予測器となる機能は1つもない。
その結果、ターゲット言語である$L_1$に対して、すべてのNLPタスクに最適な言語である$L_2$(ブルガリア語では、最高のソース言語はPOSタグでフランス語、NERでロシア語、NLIでタイ語)が存在することを期待するべきではない。
本稿では,統計的および機械学習手法を用いて,伝達品質に影響を与える最も重要な言語的特徴について論じる。
関連論文リスト
- DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。
これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。
標準言語と非標準言語間の性能格差の相当な証拠を提供する。
論文 参考訳（メタデータ） (2024-03-16T20:18:36Z) - GradSim: Gradient-Based Language Grouping for Effective Multilingual
Training [13.730907708289331]
勾配類似度に基づく言語グループ化手法GradSimを提案する。
3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。
言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
論文 参考訳（メタデータ） (2023-10-23T18:13:37Z) - A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing
Prediction of Political Polarity in Multilingual News Headlines [0.0]
対象言語における推論知識を取得するために,翻訳と検索の手法を用いる。
次に、重要な推論を強調するために注意機構を使用します。
我々は、それぞれの政治的極性に注釈を付けた5つのヨーロッパ言語で62.6K以上の多言語ニュースの見出しを提示する。
論文 参考訳（メタデータ） (2022-12-01T06:07:01Z) - Language Chameleon: Transformation analysis between languages using
Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。
結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2022-09-14T05:20:52Z) - Unravelling Interlanguage Facts via Explainable Machine Learning [10.71581852108984]
我々は、説明可能な機械学習アルゴリズムによって訓練されたNLI分類器の内部に焦点をあてる。
我々は、この視点を用いて、NLIと相補的なタスクの両方に対処し、テキストがネイティブまたは非ネイティブ話者によって書かれたかどうかを推測する。
話者のL1を最も示唆する2つの課題を解くのに最も有効な言語特性について検討する。
論文 参考訳（メタデータ） (2022-08-02T14:05:15Z) - How Robust is Neural Machine Translation to Language Imbalance in
Multilingual Tokenizer Training? [86.48323488619629]
トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。
言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
論文 参考訳（メタデータ） (2022-04-29T17:50:36Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳（メタデータ） (2020-04-21T17:26:16Z) - On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。
その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。
本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
論文 参考訳（メタデータ） (2020-04-09T19:50:32Z) - Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。
メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。
我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
論文 参考訳（メタデータ） (2020-03-05T16:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。