論文の概要: A cost-benefit analysis of cross-lingual transfer methods

• arxiv url: http://arxiv.org/abs/2105.06813v1
• Date: Fri, 14 May 2021 13:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 12:50:21.862148
• Title: A cost-benefit analysis of cross-lingual transfer methods
• Title（参考訳）: 言語間伝達法の費用便益分析
• Authors: Guilherme Moraes Rosa, Luiz Henrique Bonifacio, Leandro Rodrigues de Souza, Roberto Lotufo and Rodrigo Nogueira
• Abstract要約: 言語間移動は、教師付きデータセット上のバイリンガルまたはマルチリンガルモデルを1つの言語で微調整し、ゼロショットで他の言語上で評価する。 提案手法の有効性,開発コスト,デプロイメントコスト,および推論時の待ち時間の観点から,言語横断手法を解析する。 ゼロショットと翻訳の手法を組み合わせることで、本研究で使用される3つのデータセットのうち2つで最先端の処理を実現する。
• 参考スコア（独自算出の注目度）: 2.2220235662428425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An effective method for cross-lingual transfer is to fine-tune a bilingual or multilingual model on a supervised dataset in one language and evaluating it on another language in a zero-shot manner. Translating examples at training time or inference time are also viable alternatives. However, there are costs associated with these methods that are rarely addressed in the literature. In this work, we analyze cross-lingual methods in terms of their effectiveness (e.g., accuracy), development and deployment costs, as well as their latencies at inference time. Our experiments on three tasks indicate that the best cross-lingual method is highly task-dependent. Finally, by combining zero-shot and translation methods, we achieve the state-of-the-art in two of the three datasets used in this work. Based on these results, we question the need for manually labeled training data in a target language. Code, models and translated datasets are available at https://github.com/unicamp-dl/cross-lingual-analysis
• Abstract（参考訳）: 言語間移動の効果的な方法は、ある言語の教師付きデータセット上でバイリンガルまたは多言語モデルを微調整し、それをゼロショットで他の言語上で評価することである。 トレーニング時間や推論時間での例の翻訳も有効な代替手段である。 しかし、これらの方法にかかわるコストは、文献にはほとんど触れられていない。 本研究では,その効果(正確性など),開発コスト,展開コスト,および推論時の遅延の観点から,言語横断法を分析した。 3つのタスクに対する実験から,最高のクロスランガル手法がタスク依存性が高いことが示唆された。 最後に,ゼロショット法と翻訳法を組み合わせることで,本研究で使用した3つのデータセットのうち2つにおいて最先端の処理を実現する。 これらの結果から,対象言語におけるトレーニングデータのラベル付けの必要性を疑問視する。 コード、モデル、翻訳データセットはhttps://github.com/unicamp-dl/cross-lingual-analysisで入手できる。

関連論文リスト

• Zero-shot Cross-lingual Transfer without Parallel Corpus [6.937772043639308]
  本稿では,事前学習モデルを用いてゼロショット言語間移動を行う手法を提案する。 タスク関連のバイリンガル情報アライメントを適用するバイリンガルタスクフィッティングモジュールで構成されている。 自己学習モジュールは、ラベルのないデータに対して擬似ソフトおよびハードラベルを生成し、それを利用して自己学習を行う。
  論文  参考訳（メタデータ） (2023-10-07T07:54:22Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings [10.871587311621974]
  我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。 この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。 また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
  論文  参考訳（メタデータ） (2022-10-23T05:37:35Z)
• Meta-Learning a Cross-lingual Manifold for Semantic Parsing [75.26271012018861]
  新しい言語をサポートするためにセマンティックをローカライズするには、効果的な言語間一般化が必要である。 本稿では,言語間移動において,最大サンプル効率で注釈付きセマンティックを学習するための一階メタ学習アルゴリズムを提案する。 ATIS上の6つの言語にまたがる結果は、ステップの組み合わせによって、各新言語におけるソーストレーニングデータの10パーセントを正確なセマンティクスでサンプリングできることを示している。
  論文  参考訳（メタデータ） (2022-09-26T10:42:17Z)
• CrossAligner & Co: Zero-Shot Transfer Methods for Task-Oriented Cross-lingual Natural Language Understanding [18.14437842819122]
  CrossAlignerは、ゼロショット・クロスランガル転送のための様々な効果的な手法の主要な方法である。 本稿では,個々の手法と重み付けされた組み合わせの定量的分析を行い,その一部はSOTA(State-of-the-art)スコアを超えている。 最適手法の詳細な定性的誤り解析により、我々の微調整言語モデルが、予想よりも優れたタスク知識をゼロショット転送できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T14:18:12Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。