論文の概要: Constrained Decoding for Cross-lingual Label Projection
- arxiv url: http://arxiv.org/abs/2402.03131v1
- Date: Mon, 5 Feb 2024 15:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 15:22:36.288248
- Title: Constrained Decoding for Cross-lingual Label Projection
- Title（参考訳）: 言語間ラベル投影のための制約付き復号法
- Authors: Duong Minh Le, Yang Chen, Alan Ritter, Wei Xu
- Abstract要約: ラベル付き学習データを持たない低リソース言語では,多言語 LLM を用いた言語間移動が一般的な学習パラダイムとなっている。
しかし、単語やフレーズの微粒な予測を含むNLPタスクでは、ゼロショットの言語間移動学習は教師付き微調整法よりもはるかに遅れている。
- 参考スコア（独自算出の注目度）: 27.567195418950966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot cross-lingual transfer utilizing multilingual LLMs has become a
popular learning paradigm for low-resource languages with no labeled training
data. However, for NLP tasks that involve fine-grained predictions on words and
phrases, the performance of zero-shot cross-lingual transfer learning lags far
behind supervised fine-tuning methods. Therefore, it is common to exploit
translation and label projection to further improve the performance by (1)
translating training data that is available in a high-resource language (e.g.,
English) together with the gold labels into low-resource languages, and/or (2)
translating test data in low-resource languages to a high-source language to
run inference on, then projecting the predicted span-level labels back onto the
original test data. However, state-of-the-art marker-based label projection
methods suffer from translation quality degradation due to the extra label
markers injected in the input to the translation model. In this work, we
explore a new direction that leverages constrained decoding for label
projection to overcome the aforementioned issues. Our new method not only can
preserve the quality of translated texts but also has the versatility of being
applicable to both translating training and translating test data strategies.
This versatility is crucial as our experiments reveal that translating test
data can lead to a considerable boost in performance compared to translating
only training data. We evaluate on two cross-lingual transfer tasks, namely
Named Entity Recognition and Event Argument Extraction, spanning 20 languages.
The results demonstrate that our approach outperforms the state-of-the-art
marker-based method by a large margin and also shows better performance than
other label projection methods that rely on external word alignment.
- Abstract（参考訳）: ラベル付き学習データを持たない低リソース言語では,多言語 LLM を用いたゼロショット言語間移動が一般的な学習パラダイムとなっている。
しかし、単語やフレーズのきめ細かい予測を伴うnlpタスクの場合、ゼロショットの言語間転送学習の性能は教師付き微調整法よりもはるかに遅れる。
したがって、(1)金ラベルとともに高リソース言語(例えば英語)で利用可能なトレーニングデータを低リソース言語に翻訳し、(2)低リソース言語でテストデータを高ソース言語に変換して推論を実行し、次に予測したスパンレベルラベルを元のテストデータに投影することにより、翻訳とラベルプロジェクションをさらに向上させるのが一般的である。
しかし、最先端のマーカーに基づくラベル投影法は、翻訳モデルに入力された追加のラベルマーカーによって翻訳品質が低下する。
そこで本研究では,ラベルプロジェクションの制約付き復号化を活用し,上記の問題を克服する新たな方向について検討する。
本手法は, 翻訳文の品質を維持するだけでなく, 翻訳訓練と翻訳テストデータ戦略の両方に適用可能な汎用性を有する。
テストデータの変換は、トレーニングデータのみを翻訳するよりも、パフォーマンスが大幅に向上する可能性があることを実験が明らかにしているため、この汎用性は重要です。
我々は,20言語にまたがる2つの言語間伝達タスク,名前付きエンティティ認識とイベント引数抽出を評価した。
その結果,提案手法は最先端のマーカーベース手法よりも高い性能を示し,外部単語アライメントに依存する他のラベル投影手法よりも優れた性能を示した。
関連論文リスト
- Contextual Label Projection for Cross-Lingual Structured Prediction [103.55999471155104]
CLaPはテキストを対象言語に翻訳し、翻訳されたテキストをコンテキストとしてラベルにコンテキスト変換を行う。
39言語間のゼロショット言語間転送において,CLaPと他のラベル投影手法のベンチマークを行った。
論文 参考訳（メタデータ） (2023-09-16T10:27:28Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:33:22Z) - Frustratingly Easy Label Projection for Cross-lingual Transfer [25.398772204761215]
いくつかの試みでは、簡単なマーク-then-translate法を用いて、共同で翻訳と投影を行っている。
両手法の有効性と限界を評価するために,57言語および3つのタスク(QA,NER,イベント抽出)にまたがる実証的研究を行った。
EasyProjectと呼ばれる最適化された Mark-then-translate は、多くの言語に簡単に適用でき、驚くほどうまく機能し、より複雑な単語アライメントベースの手法よりも優れています。
論文 参考訳（メタデータ） (2022-11-28T18:11:48Z) - Model and Data Transfer for Cross-Lingual Sequence Labelling in
Zero-Resource Settings [10.871587311621974]
我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。
この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。
また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
論文 参考訳（メタデータ） (2022-10-23T05:37:35Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳（メタデータ） (2022-10-13T13:32:36Z) - A Dual-Contrastive Framework for Low-Resource Cross-Lingual Named Entity
Recognition [5.030581940990434]
クロスランガルな名前付きエンティティ認識(NER)は、低リソース言語におけるデータ空白問題を緩和できるため、最近研究ホットスポットになっている。
本稿では,言語間NERのための2言語コントラストフレームワーク ConCNER について述べる。
論文 参考訳（メタデータ） (2022-04-02T07:59:13Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。
実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。
本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-07T01:55:34Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - UniTrans: Unifying Model Transfer and Data Transfer for Cross-Lingual
Named Entity Recognition with Unlabeled Data [28.8970132244542]
言語間NERのためのモデルとデータ転送を統一するUniTransと呼ばれる新しい手法を提案する。
提案したUniTransを,ベンチマークデータセットを用いて4つのターゲット言語で評価した。
論文 参考訳（メタデータ） (2020-07-15T13:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。