論文の概要: XLM-T: A Multilingual Language Model Toolkit for Twitter

• arxiv url: http://arxiv.org/abs/2104.12250v1
• Date: Sun, 25 Apr 2021 20:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:44:34.985417
• Title: XLM-T: A Multilingual Language Model Toolkit for Twitter
• Title（参考訳）: XLM-T: Twitter用多言語言語モデルツールキット
• Authors: Francesco Barbieri and Luis Espinosa Anke and Jose Camacho-Collados
• Abstract要約: Twitterで多言語モデルの使用と評価を行うフレームワークであるXLM-Tを紹介します。 このフレームワークは、(1)30以上の言語で数百万のツイートで事前に訓練されたXLM-Rモデルからなる強力な多言語ベースラインと、ターゲットタスクを微調整するためのスターターコード、(2)8つの異なる言語で統一された感情分析Twitterデータセットのセットである。
• 参考スコア（独自算出の注目度）: 12.055430119666184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are ubiquitous in current NLP, and their multilingual capacity has recently attracted considerable attention. However, current analyses have almost exclusively focused on (multilingual variants of) standard benchmarks, and have relied on clean pre-training and task-specific corpora as multilingual signals. In this paper, we introduce XLM-T, a framework for using and evaluating multilingual language models in Twitter. This framework features two main assets: (1) a strong multilingual baseline consisting of an XLM-R (Conneau et al. 2020) model pre-trained on millions of tweets in over thirty languages, alongside starter code to subsequently fine-tune on a target task; and (2) a set of unified sentiment analysis Twitter datasets in eight different languages. This is a modular framework that can easily be extended to additional tasks, as well as integrated with recent efforts also aimed at the homogenization of Twitter-specific datasets (Barbieri et al. 2020).
• Abstract（参考訳）: 言語モデルは現在のNLPではユビキタスであり、その多言語能力は近年注目されている。 しかし、現在の分析は標準ベンチマーク(マルチリンガル変種)にのみ焦点を当てており、クリーンな事前学習やタスク固有のコーパスを多言語信号として依存している。 本稿では,Twitterにおける多言語言語モデルの利用と評価のためのフレームワークであるXLM-Tを紹介する。 このフレームワークは、(1)xlm-r(conneau et al)からなる強力な多言語ベースラインである。 2020年) 30以上の言語で何百万ものツイートを事前トレーニングしたモデルと、その後ターゲットタスクを微調整するスターターコード、2つの異なる言語による統合感情分析twitterデータセット。 これは、Twitter固有のデータセット(Barbieriら)の均質化を目的とした最近の取り組みと統合しただけでなく、追加タスクに簡単に拡張できるモジュラーフレームワークである。 2020).

関連論文リスト

• Fine-tuning multilingual language models in Twitter/X sentiment analysis: a study on Eastern-European V4 languages [0.0]
  未表現言語におけるTwitter/Xデータに基づくABSAサブタスクに着目した。 我々はロシアとウクライナに対する感情の分類のためにいくつかのLSMを微調整した。 いくつかのモデルは、Twitterのマルチ言語タスクにおいて、他のモデルよりもはるかにきめ細やかに調整可能であることを示す興味深い現象をいくつか報告している。
  論文  参考訳（メタデータ） (2024-08-04T14:35:30Z)
• KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model [37.69464822182714]
  ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。 本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-20T07:02:35Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
  本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。 まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。 メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
  論文  参考訳（メタデータ） (2022-03-19T05:22:07Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation [100.09099800591822]
  XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。 XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
  論文  参考訳（メタデータ） (2020-04-03T07:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。