論文の概要: Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification

• arxiv url: http://arxiv.org/abs/2305.08800v1
• Date: Mon, 15 May 2023 17:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 13:37:10.368168
• Title: Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
• Title（参考訳）: 文分類における多言語トランスフォーマの言語間伝達性の測定
• Authors: Zewen Chi, Heyan Huang, Xian-Ling Mao
• Abstract要約: 文分類タスクにおける多言語変換器のための言語間変換可能性指標IGapを提案する。 実験の結果,IGapは転送可能性測定と転送方向ランキングの基準値よりも優れていた。 その結果,多言語トランスフォーマーの理解を深める上で,言語間移動の3つの知見が得られた。
• 参考スコア（独自算出の注目度）: 49.8111760092473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have exhibited remarkable capabilities of pre-trained multilingual Transformers, especially cross-lingual transferability. However, current methods do not measure cross-lingual transferability well, hindering the understanding of multilingual Transformers. In this paper, we propose IGap, a cross-lingual transferability metric for multilingual Transformers on sentence classification tasks. IGap takes training error into consideration, and can also estimate transferability without end-task data. Experimental results show that IGap outperforms baseline metrics for transferability measuring and transfer direction ranking. Besides, we conduct extensive systematic experiments where we compare transferability among various multilingual Transformers, fine-tuning algorithms, and transfer directions. More importantly, our results reveal three findings about cross-lingual transfer, which helps us to better understand multilingual Transformers.
• Abstract（参考訳）: 最近の研究は、事前訓練された多言語トランスフォーマー、特に言語間トランスフォーマーの顕著な機能を示した。 しかし、現在の方法は言語間伝達性をよく測定しておらず、多言語トランスフォーマーの理解を妨げている。 本稿では,文分類タスクにおける多言語トランスフォーマタのためのクロスリンガルトランスフォーマビリティ指標であるigapを提案する。 IGapはトレーニングエラーを考慮に入れ、エンドタスクデータなしで転送可能性も推定できる。 実験の結果,IGapは転送可能性測定と転送方向ランキングの基準値よりも優れていた。 さらに,多言語変換器の転送性,微調整アルゴリズム,転送方向などを比較した系統的な実験を行った。 さらに,多言語トランスフォーマーの理解を深めるため,言語間伝達に関する3つの知見が得られた。

関連論文リスト

• Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation [9.838281446902268]
  我々は2次元の補助的対象側言語を変化させる大規模研究を行う。 言語的に類似したターゲット言語は、肯定的な知識を伝達する強い能力を示す。 類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。 一方、遠方の補助的対象言語は、最小限の正の転送能力を持ちながら、予期せずメイン言語ペアの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-02-01T10:55:03Z)
• Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens [15.283483438956264]
  本稿では,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を紹介する。 RTPは正と負の両方の転送(干渉)を計測できることを示し、RTPは翻訳品質の変化と強く相関していることを示した。 我々は,言語間で表現をより不変にするための補助的類似性損失を用いた新しい学習手法を開発した。
  論文  参考訳（メタデータ） (2023-05-19T09:36:48Z)
• UTSGAN: Unseen Transition Suss GAN for Transition-Aware Image-to-image Translation [57.99923293611923]
  我々はI2Iトランスフォーメーションに対してトランジッションアウェアアプローチを導入し、データトランスフォーメーションマッピングをトランジッション変数で明示的にパラメータ化する。 本稿では、遷移変数に定義された遷移整合性を利用することにより、観測されていない翻訳における整合性の正規化を可能にする。 これらの知見に基づき、遷移エンコーダを用いた遷移のための多様体を構成する生成フレームワークである Unseen transition Suss GAN (UTSGAN) を提案する。
  論文  参考訳（メタデータ） (2023-04-24T09:47:34Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer [43.92142759245696]
  オーソラアダプタは、事前訓練されたトランスフォーマーのパラメータに格納されている知識を補完する言語やタスク固有の情報をエンコードするように訓練される。 本研究では,3つのタスク(POSタグ,NER,NLI)と10の多言語からなるゼロショット言語間移動実験を行い,特に最も複雑なNLIタスクにおいて,オーソラアダプタの有用性を示すとともに,最適アダプタ構成がタスクとターゲット言語に大きく依存していることを示した。
  論文  参考訳（メタデータ） (2020-12-11T16:32:41Z)
• Deep Transformers with Latent Depth [42.33955275626127]
  Transformerモデルは、多くのシーケンスモデリングタスクにおいて最先端のパフォーマンスを達成した。 本稿では,層選択の後方分布を学習することで,どの層を使うかを自動的に学習する確率的フレームワークを提案する。 多言語機械翻訳のための1つの共有トランスフォーマーネットワークを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T07:13:23Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。