論文の概要: mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2110.08151v1
• Date: Fri, 15 Oct 2021 15:28:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 16:57:07.094020
• Title: mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models
• Title（参考訳）: mLUKE:多言語事前学習言語モデルにおけるエンティティ表現のパワー
• Authors: Ryokan Ri, Ikuya Yamada, Yoshimasa Tsuruoka
• Abstract要約: 我々は、エンティティ表現を持つ24言語で多言語モデルを訓練する。 本稿では,言語間移動タスクにおいて,単語ベース事前学習モデルより一貫して優れることを示す。 また,mLAMAデータセットを用いた多言語クローゼプロンプトタスクによるモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 15.873069955407406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that multilingual pretrained language models can be effectively improved with cross-lingual alignment information from Wikipedia entities. However, existing methods only exploit entity information in pretraining and do not explicitly use entities in downstream tasks. In this study, we explore the effectiveness of leveraging entity representations for downstream cross-lingual tasks. We train a multilingual language model with 24 languages with entity representations and show the model consistently outperforms word-based pretrained models in various cross-lingual transfer tasks. We also analyze the model and the key insight is that incorporating entity representations into the input allows us to extract more language-agnostic features. We also evaluate the model with a multilingual cloze prompt task with the mLAMA dataset. We show that entity-based prompt elicits correct factual knowledge more likely than using only word representations.
• Abstract（参考訳）: 近年の研究では、多言語事前学習言語モデルがウィキペディアエンティティからの言語間アライメント情報によって効果的に改善できることが示されている。 しかし、既存のメソッドは事前トレーニングでのみエンティティ情報を利用しており、下流タスクでエンティティを明示的に使用していない。 本研究では,下流の言語横断タスクにおけるエンティティ表現の有効性について検討する。 エンティティ表現を持つ24の言語で多言語モデルを訓練し,様々な言語間転送タスクにおいて,単語ベースの事前学習モデルに一貫して勝っていることを示す。 また、モデルを分析し、エンティティ表現を入力に組み込むことで、より多くの言語に依存しない特徴を抽出できるという重要な洞察を得た。 また,mLAMAデータセットを用いた多言語クローゼプロンプトタスクによるモデルの評価を行った。 エンティティベースのプロンプトは,単語表現のみを用いることよりも,事実知識の正しさを示唆する。

関連論文リスト

• Self-Translate-Train: A Simple but Strong Baseline for Cross-lingual Transfer of Large Language Models [31.025371443719404]
  言語間転送は、ターゲット言語のパフォーマンスを向上させるために、ソース言語でデータを利用するための有望なテクニックである。 本稿では,自己翻訳トレインと呼ばれる簡易かつ効果的な手法を提案する。 大規模言語モデルの翻訳機能を活用して、ターゲット言語で合成トレーニングデータを生成し、独自の生成されたデータでモデルを微調整する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Cross-Lingual Fine-Grained Entity Typing [26.973783464706447]
  本稿では,100以上の言語を処理可能な,言語間を包含したエンティティタイピングモデルを提案する。 このモデルが学習中に見つからない言語やエンティティに一般化する能力について分析する。
  論文  参考訳（メタデータ） (2021-10-15T03:22:30Z)
• A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification [16.684856745734944]
  ゼロショット言語間テキスト分類の性能を向上する多言語バッグ・オブ・エンティリティモデルを提案する。 同じ概念を表す複数の言語のエンティティは、ユニークな識別子で定義される。 したがって、リソース豊富な言語のエンティティ機能に基づいて訓練されたモデルは、他の言語に直接適用することができる。
  論文  参考訳（メタデータ） (2021-10-15T01:10:50Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks [1.2691047660244335]
  BERT (Bidirectional Representations from Transformers) と ALBERT (A Lite BERT) は、言語モデルの事前学習方法である。 ポルトガルでトレーニングされたBERTとAlbertモデルを利用可能にしています。
  論文  参考訳（メタデータ） (2020-07-19T19:13:20Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。