論文の概要: AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2109.12068v1
• Date: Tue, 31 Aug 2021 02:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-03 13:23:03.885451
• Title: AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation
• Title（参考訳）: arat5:アラビア語理解と生成のためのテキストからテキストへのトランスフォーマー
• Authors: El Moatez Billah Nagoudi and AbdelRahim Elmadany and Muhammad Abdul-Mageed
• Abstract要約: アラビア語生成のための新しいベンチマーク(ARGEN)を導入する。 アラビア語固有のテキスト・トゥ・テキスト・トランスフォーマーベースの3つのモデルを事前学習し、2つのベンチマークで評価する。 我々の新しいモデルはmT5よりも大幅に優れており、アラビア語の理解に基づいて現在最先端のアラビア語 BERT ベースのモデルである MARBERT よりも優れている。
• 参考スコア（独自算出の注目度）: 6.021269454707625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning with a unified Transformer framework (T5) that converts all language problems into a text-to-text format has recently been proposed as a simple, yet effective, transfer learning approach. Although a multilingual version of the T5 model (mT5) has been introduced, it is not clear how well it can fare on non-English tasks involving diverse data. To investigate this question, we apply mT5 on a language with a wide variety of dialects--Arabic. For evaluation, we use an existing benchmark for Arabic language understanding and introduce a new benchmark for Arabic language generation (ARGEN). We also pre-train three powerful Arabic-specific text-to-text Transformer based models and evaluate them on the two benchmarks. Our new models perform significantly better than mT5 and exceed MARBERT, the current state-of-the-art Arabic BERT-based model, on Arabic language understanding. The models also set new SOTA on the generation benchmark. Our new models and are publicly released at https://github.com/UBC-NLP/araT5 and ARLGE will be released through the same repository.
• Abstract（参考訳）: すべての言語問題をテキストからテキストに変換する統合トランスフォーマーフレームワーク(T5)によるトランスファーラーニングは、最近、シンプルだが効果的でトランスファーラーニングアプローチとして提案されている。 T5 モデルの多言語版 (mT5) が導入されたが、多種多様なデータを含む非英語タスクにどの程度うまく対応できるかは明らかではない。 この問題を調査するため、多種多様な方言を持つ言語にmT5を適用する。 評価には、アラビア語理解のための既存のベンチマークを使用し、アラビア語生成のための新しいベンチマーク(ARGEN)を導入する。 また、アラビア語固有のテキスト・トゥ・テキスト・トランスフォーマーベースの3つのモデルを事前訓練し、2つのベンチマークで評価する。 我々の新しいモデルはmT5よりも大幅に優れており、アラビア語の理解に基づいて現在最先端のアラビア語 BERT ベースのモデルである MARBERT よりも優れている。 モデルは生成ベンチマークに新しいSOTAも設定した。 我々の新しいモデルはhttps://github.com/UBC-NLP/araT5で公開され、ARLGEは同じリポジトリからリリースされる。

関連論文リスト

• Arabic Automatic Story Generation with Large Language Models [15.000055598698438]
  我々は,大規模言語モデル(LLM)からストーリを生成するタスクに注力する。 トレーニングでは、機械翻訳(MT)とGPT-4を使って獲得したストーリーを使用します。 GPT-41データには、アラビア語の文脈に適したデータを生成するためのプロンプトが導入された。
  論文  参考訳（メタデータ） (2024-07-10T11:26:10Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• ArTST: Arabic Text and Speech Transformer [2.53638770809417]
  本稿では、事前訓練されたアラビア語テキストと音声変換器ArTSTを提案する。 アラビア語のためのオープンソースの音声技術をサポートしている。
  論文  参考訳（メタデータ） (2023-10-25T13:20:54Z)
• mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations [54.42422445568523]
  mmT5はモジュール型多言語シーケンス・ツー・シーケンスモデルである。 言語固有の情報を言語に依存しない情報から切り離す。 mT5と比較して、mT5はゼロショット設定で正しい言語でテキストを生成する率を7%から99%に向上させる。
  論文  参考訳（メタデータ） (2023-05-23T16:38:01Z)
• idT5: Indonesian Version of Multilingual T5 Transformer [0.0]
  インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。 本研究では,mT5モデルがインドネシア語にのみ適用され,インドネシア語のみに限定した訓練済みのT5モデルが得られた。 本モデルに基づく微調整モデルでは,SAでは77.18%,mT5モデルより8%高い精度を示し,QGおよびQAではmT5モデルとほぼ同じスコアを得た。
  論文  参考訳（メタデータ） (2023-02-02T03:56:16Z)
• T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5 [65.32642587901903]
  我々は、異なるトークン化戦略を持つPLMが音声言語理解タスクにどのように影響するかを広範囲に研究する。 我々は、音素化されたテキストを使って事前訓練されたT5の変種であるT5lephoneを作成するためのアイデアを拡張した。
  論文  参考訳（メタデータ） (2022-11-01T17:00:23Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。