論文の概要: Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings

• arxiv url: http://arxiv.org/abs/2210.12623v2
• Date: Thu, 27 Apr 2023 10:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 17:05:04.344819
• Title: Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
• Title（参考訳）: ゼロリソース設定における言語間シーケンスラベリングのモデルとデータ転送
• Authors: Iker Garc\'ia-Ferrero, Rodrigo Agerri, German Rigau
• Abstract要約: 我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。 この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。 また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
• 参考スコア（独自算出の注目度）: 10.871587311621974
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Zero-resource cross-lingual transfer approaches aim to apply supervised models from a source language to unlabelled target languages. In this paper we perform an in-depth study of the two main techniques employed so far for cross-lingual zero-resource sequence labelling, based either on data or model transfer. Although previous research has proposed translation and annotation projection (data-based cross-lingual transfer) as an effective technique for cross-lingual sequence labelling, in this paper we experimentally demonstrate that high capacity multilingual language models applied in a zero-shot (model-based cross-lingual transfer) setting consistently outperform data-based cross-lingual transfer approaches. A detailed analysis of our results suggests that this might be due to important differences in language use. More specifically, machine translation often generates a textual signal which is different to what the models are exposed to when using gold standard data, which affects both the fine-tuning and evaluation processes. Our results also indicate that data-based cross-lingual transfer approaches remain a competitive option when high-capacity multilingual language models are not available.
• Abstract（参考訳）: ゼロ・リソース・クロスランガル・トランスファーアプローチは、ソース言語からの教師ありモデルの適用を意図している。 本稿では,データやモデル転送に基づく言語間ゼロリソースシーケンスラベリングにおいて,これまで採用されてきた2つの主要な手法について詳細に検討する。 従来, 言語間シーケンスラベリングの有効な手法として, 翻訳およびアノテーションの投影(データに基づく言語間転送)を提案してきたが, 本論文では, ゼロショット(モデルに基づく言語間転送)で適用された高容量多言語言語モデルが, 一貫してデータベースの言語間転送手法より優れていることを示す。 結果の詳細な分析から,言語使用の相違が原因である可能性が示唆された。 より具体的には、機械翻訳は、金の標準データを使用するときのモデルと異なるテキスト信号を生成することが多く、細調整と評価の両方のプロセスに影響を与える。 また,高容量多言語言語モデルが利用できない場合,データに基づく言語間移動アプローチが競争力のある選択肢であることを示す。

関連論文リスト

• Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques [5.735035463793008]
  また、Argument Miningでは、データ転送の方がモデル転送よりも優れた結果が得られることを示す。 数秒間、タスクの種類(シーケンスの長さと複雑さ)とサンプリングメソッドが重要であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-04T08:59:17Z)
• Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability [31.025371443719404]
  自己翻訳-トレイン(Self-Translate-Train)は、大規模言語モデルがトレーニングデータをターゲット言語に翻訳し、自身の生成されたデータに基づいてモデルを微調整する手法である。 自己翻訳-トレインがゼロショット転送より優れていることを示すことによって、LLMの言語間機能を引き出すためのより良い手法のさらなる探索を奨励する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• DiTTO: A Feature Representation Imitation Approach for Improving Cross-Lingual Transfer [15.062937537799005]
  ゼロショット転送を改善するためのドメインとしての言語。 我々のアプローチであるDiTTOは、標準のゼロショット微調整法よりも大幅に優れていることを示す。 我々のモデルは、数ショット設定であっても、標準的な微調整法よりも言語間移動がより良くできる。
  論文  参考訳（メタデータ） (2023-03-04T08:42:50Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• UniTrans: Unifying Model Transfer and Data Transfer for Cross-Lingual Named Entity Recognition with Unlabeled Data [28.8970132244542]
  言語間NERのためのモデルとデータ転送を統一するUniTransと呼ばれる新しい手法を提案する。 提案したUniTransを,ベンチマークデータセットを用いて4つのターゲット言語で評価した。
  論文  参考訳（メタデータ） (2020-07-15T13:46:50Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。