論文の概要: ViT5: Pretrained Text-to-Text Transformer for Vietnamese Language Generation

• arxiv url: http://arxiv.org/abs/2205.06457v1
• Date: Fri, 13 May 2022 06:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 22:10:40.743180
• Title: ViT5: Pretrained Text-to-Text Transformer for Vietnamese Language Generation
• Title（参考訳）: ViT5:ベトナム語生成のための事前訓練されたテキスト-テキスト変換器
• Authors: Long Phan, Hieu Tran, Hieu Nguyen, Trieu H. Trinh
• Abstract要約: ベトナム語のトランスフォーマーを用いたエンコーダデコーダモデルViT5を提案する。 T5スタイルの自己教師型プレトレーニングでは、ViT5は高品質で多様なベトナム語のテキストのコーパスで訓練されている。
• 参考スコア（独自算出の注目度）: 2.0302025541827247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ViT5, a pretrained Transformer-based encoder-decoder model for the Vietnamese language. With T5-style self-supervised pretraining, ViT5 is trained on a large corpus of high-quality and diverse Vietnamese texts. We benchmark ViT5 on two downstream text generation tasks, Abstractive Text Summarization and Named Entity Recognition. Although Abstractive Text Summarization has been widely studied for the English language thanks to its rich and large source of data, there has been minimal research into the same task in Vietnamese, a much lower resource language. In this work, we perform exhaustive experiments on both Vietnamese Abstractive Summarization and Named Entity Recognition, validating the performance of ViT5 against many other pretrained Transformer-based encoder-decoder models. Our experiments show that ViT5 significantly outperforms existing models and achieves state-of-the-art results on Vietnamese Text Summarization. On the task of Named Entity Recognition, ViT5 is competitive against previous best results from pretrained encoder-based Transformer models. Further analysis shows the importance of context length during the self-supervised pretraining on downstream performance across different settings.
• Abstract（参考訳）: ベトナム語のトランスフォーマーを用いたエンコーダデコーダモデルViT5を提案する。 t5スタイルの自己教師付き事前訓練により、vit5は高品質で多様なベトナム語のテキストのコーパスで訓練される。 我々はvit5を2つの下流テキスト生成タスク(抽象テキスト要約と名前付きエンティティ認識)でベンチマークする。 抽象テキスト要約は、その豊かで膨大なデータソースのおかげで、英語で広く研究されてきたが、ベトナムでは、非常に低いリソース言語である同じタスクについて最小限の研究がなされている。 本研究ではベトナムの抽象的な要約と名前付きエンティティ認識の両方について徹底的な実験を行い、ViT5の性能を他の多くの事前訓練されたトランスフォーマーベースのエンコーダデコーダモデルと比較した。 実験の結果,ViT5は既存のモデルよりも大幅に優れ,ベトナム語のテキスト要約における最先端の結果が得られた。 Named Entity Recognitionのタスクでは、ViT5は事前訓練されたエンコーダベースのTransformerモデルによる以前の最良の結果と競合する。 さらなる分析により、異なる設定でのダウンストリームパフォーマンスの自己教師付き事前トレーニングにおけるコンテキスト長の重要性が示されている。

関連論文リスト

• ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model [0.0]
  提案する大規模ドメイン固有データセット VOZ-HSD を事前トレーニングした T5 ベースのモデルである ViHateT5 を紹介する。 ViHateT5はテキストからテキストへのアーキテクチャのパワーを活用することで、統一モデルを使用して複数のタスクに対処し、ベトナムのすべての標準HSDベンチマークで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-05-23T03:31:50Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.232873134174056]
  テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。 そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。 この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
  論文  参考訳（メタデータ） (2023-01-18T13:29:05Z)
• T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5 [65.32642587901903]
  我々は、異なるトークン化戦略を持つPLMが音声言語理解タスクにどのように影響するかを広範囲に研究する。 我々は、音素化されたテキストを使って事前訓練されたT5の変種であるT5lephoneを作成するためのアイデアを拡張した。
  論文  参考訳（メタデータ） (2022-11-01T17:00:23Z)
• M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation [66.92823764664206]
  テキストに音声表現を適応させる新しいトランスフォーマーベースのモジュールであるM-Adapterを提案する。 音声シーケンスを縮小しながら、M-Adapterは音声からテキストへの翻訳に必要な機能を生成する。 実験の結果,我々のモデルは最大1BLEUで強いベースラインを達成できた。
  論文  参考訳（メタデータ） (2022-07-03T04:26:53Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• VieSum: How Robust Are Transformer-based Models on Vietnamese Summarization? [1.1379578593538398]
  ベトナムの抽象的な要約のためのトランスフォーマーベースエンコーダデコーダアーキテクチャのロバスト性について検討する。 ベトナムの2つのデータセットにおける手法の性能を検証した。
  論文  参考訳（メタデータ） (2021-10-08T17:10:31Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。