論文の概要: Oolong: Investigating What Makes Crosslingual Transfer Hard with Controlled Studies

• arxiv url: http://arxiv.org/abs/2202.12312v1
• Date: Thu, 24 Feb 2022 19:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 03:41:40.182458
• Title: Oolong: Investigating What Makes Crosslingual Transfer Hard with Controlled Studies
• Title（参考訳）: oolong: 制御された研究で言語間移行が難しい理由を調査
• Authors: Zhengxuan Wu and Isabel Papadimitriou and Alex Tamkin
• Abstract要約: 我々はGLUEタスクを体系的に変換し、異なる要因を一度に変更し、事前訓練されたモデルの下流性能における結果の低下を計測する。 構文シフトの影響は大きいが、モデルは小さなデータセットで事前トレーニングを継続することですぐに適応する。 クロスリンガル転送の最も影響のある要因は、新しい埋め込みを既存のトランスフォーマー層と整合させることである。
• 参考スコア（独自算出の注目度）: 16.469672118362485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Little is known about what makes cross-lingual transfer hard, since factors like tokenization, morphology, and syntax all change at once between languages. To disentangle the impact of these factors, we propose a set of controlled transfer studies: we systematically transform GLUE tasks to alter different factors one at a time, then measure the resulting drops in a pretrained model's downstream performance. In contrast to prior work suggesting little effect from syntax on knowledge transfer, we find significant impacts from syntactic shifts (3-6% drop), though models quickly adapt with continued pretraining on a small dataset. However, we find that by far the most impactful factor for crosslingual transfer is the challenge of aligning the new embeddings with the existing transformer layers (18% drop), with little additional effect from switching tokenizers (<2% drop) or word morphologies (<2% drop). Moreover, continued pretraining with a small dataset is not very effective at closing this gap - suggesting that new directions are needed for solving this problem.
• Abstract（参考訳）: トークン化、形態素化、構文といった要素はすべて言語間で同時に変化するため、言語間の転送が難しい理由についてはほとんど知られていない。 そこで本研究では,これらの要因の影響を解消するために,GLUEタスクを系統的に変換し,異なる要因を一度に変化させ,事前学習したモデルのダウンストリーム性能の低下を計測する。 知識伝達に対する構文の影響を示唆する先行研究とは対照的に,構文シフト(3～6%低下)の影響は大きいが,モデルでは小さなデータセット上での継続的な事前トレーニングに迅速に適応する。 しかし、言語間移動の最も影響の大きい要因は、新しい埋め込みを既存のトランスフォーマー層(18%ドロップ)に合わせることであり、トークン化器を切り替えることによる効果は少ない(2%ドロップ)か、単語形態学(2%ドロップ)。 さらに、小さなデータセットでの継続的な事前トレーニングは、このギャップを閉じるのにはあまり効果的ではありません。

関連論文リスト

• Unknown Script: Impact of Script on Cross-Lingual Transfer [2.5398014196797605]
  言語間移動は、言語間で知識を伝達する効果的な方法となっている。 対象言語とそのスクリプトが事前訓練されたモデルの一部ではない場合を考える。 この結果から, 共通スクリプト, 言語類似性, モデルサイズよりも, トークン化の重要性が示唆された。
  論文  参考訳（メタデータ） (2024-04-29T15:48:01Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Cross-lingual Transfer of Monolingual Models [2.332247755275824]
  本稿では,ドメイン適応に基づくモノリンガルモデルの言語間移動手法を提案する。 我々は、4つの異なる言語から英語へのそのような移動の効果について研究する。
  論文  参考訳（メタデータ） (2021-09-15T15:00:53Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
  ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。 最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。 本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
  論文  参考訳（メタデータ） (2021-01-26T09:21:25Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。