論文の概要: Better Low-Resource Entity Recognition Through Translation and Annotation Fusion

• arxiv url: http://arxiv.org/abs/2305.13582v1
• Date: Tue, 23 May 2023 01:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:51:00.803158
• Title: Better Low-Resource Entity Recognition Through Translation and Annotation Fusion
• Title（参考訳）: 翻訳とアノテーション融合による低リソースエンティティ認識の改善
• Authors: Yang Chen, Vedaant Shah, Alan Ritter
• Abstract要約: 我々は、低リソースの言語テキストを高リソースの言語に翻訳してアノテーションを提供する、Translation-and-fusionフレームワークを紹介した。 このフレームワークをベースとしたTransFusionは、低リソース言語で堅牢な予測を行うために、高リソース言語からの予測を融合するよう訓練されたモデルである。
• 参考スコア（独自算出の注目度）: 12.864201646293248
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained multilingual language models have enabled significant advancements in cross-lingual transfer. However, these models often exhibit a performance disparity when transferring from high-resource languages to low-resource languages, especially for languages that are underrepresented or not in the pre-training data. Motivated by the superior performance of these models on high-resource languages compared to low-resource languages, we introduce a Translation-and-fusion framework, which translates low-resource language text into a high-resource language for annotation using fully supervised models before fusing the annotations back into the low-resource language. Based on this framework, we present TransFusion, a model trained to fuse predictions from a high-resource language to make robust predictions on low-resource languages. We evaluate our methods on two low-resource named entity recognition (NER) datasets, MasakhaNER2.0 and LORELEI NER, covering 25 languages, and show consistent improvement up to +16 F$_1$ over English fine-tuning systems, achieving state-of-the-art performance compared to Translate-train systems. Our analysis depicts the unique advantages of the TransFusion method which is robust to translation errors and source language prediction errors, and complimentary to adapted multilingual language models.
• Abstract（参考訳）: 事前訓練された多言語モデルにより、言語間移動が大幅に進歩した。 しかし、これらのモデルは、特に事前学習されたデータに表示されていない言語に対して、高リソース言語から低リソース言語に移行する際に、パフォーマンスの差を示すことが多い。 低リソース言語と比較してこれらのモデルの性能が優れていることに感銘を受けて、低リソース言語テキストを低リソース言語に変換し、完全に教師付きモデルを使用してアノテーションを低リソース言語に戻すための高リソース言語に変換する、Translation-and-fusionフレームワークを導入する。 このフレームワークに基づいて,高リソース言語からの予測を融合し,低リソース言語で堅牢な予測を行うように訓練されたモデルであるtransfusionを提案する。 提案手法は,25言語をカバーする低リソースなエンティティ認識(NER)データセットである MasakhaNER2.0 と LORELEI NER を用いて評価し,英語の微調整システムに対して+16F$_1$まで改善し,トランスレート・トレインシステムと比較して最先端性能を実現した。 本分析では,翻訳誤りやソース言語の予測誤りに頑健なTransFusion法と,適応型多言語言語モデルに補完するTransFusion法の特徴について述べる。

関連論文リスト

• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction [38.88339164947934]
  言語横断的オープン情報抽出は,複数の言語にまたがる原文から構造化された情報を抽出することを目的としている。 以前の作業では、異なる言語を扱うために、共通言語間の事前訓練モデルを使用していたが、言語固有の表現の可能性を過小評価している。 MT4CrossIEという,言語間オープン情報抽出の効率化を目的とした,効果的な多段階チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:38:10Z)
• Bootstrapping Multilingual Semantic Parsers using Large Language Models [28.257114724384806]
  複数の言語にまたがって英語データセットを転送するTranslation-trainパラダイムは、タスク固有の多言語モデルをトレーニングする上で重要な要素である。 本稿では,多言語意味解析の課題を考察し,英語データセットを複数言語に翻訳する大規模言語モデル(LLM)の有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2022-10-13T19:34:14Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT [16.22182090626537]
  大規模な多言語コーパスで事前訓練された言語モデルであるMultilingual BERT (mBERT) は、印象的なゼロショット言語間転送機能を備えている。 本研究では,mBERTの最後の変圧器層に対する下層の相補的性質について検討する。 mBERTの異なる層に情報を融合するために,アテンション機構に基づく特徴集約モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-17T17:12:19Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。