Fugu-MT 論文翻訳(概要): BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese

論文の概要: BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese

arxiv url: http://arxiv.org/abs/2109.09701v1
Date: Mon, 20 Sep 2021 17:14:22 GMT
ステータス: 処理完了
システム内更新日: 2021-09-21 16:35:23.337857
Title: BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese
Title（参考訳）: BARTpho:ベトナムの事前訓練シーケンスモデル
Authors: Nguyen Luong Tran, Duong Minh Le and Dat Quoc Nguyen
Abstract要約: BARTphoはベトナムで事前訓練された最初の大規模モノリンガルシーケンス・ツー・シーケンスモデルである。我々のBARTphoは、シーケンス・ツー・シーケンス・デノゲーション・モデルであるBARTの"大規模"アーキテクチャと事前学習方式を使用している。ベトナム語テキスト要約の下流タスクの実験は、我々のBARTphoが強いベースラインmBARTより優れていることを示している。
参考スコア（独自算出の注目度）: 5.955739135932037
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present BARTpho with two versions -- BARTpho_word and BARTpho_syllable -- the first public large-scale monolingual sequence-to-sequence models pre-trained for Vietnamese. Our BARTpho uses the "large" architecture and pre-training scheme of the sequence-to-sequence denoising model BART, thus especially suitable for generative NLP tasks. Experiments on a downstream task of Vietnamese text summarization show that in both automatic and human evaluations, our BARTpho outperforms the strong baseline mBART and improves the state-of-the-art. We release BARTpho to facilitate future research and applications of generative Vietnamese NLP tasks. Our BARTpho models are available at: https://github.com/VinAIResearch/BARTpho
Abstract（参考訳）: BARTpho_word と BARTpho_syllable はベトナムで事前訓練された最初の大規模モノリンガルシーケンス列列モデルである。我々のBARTphoは、シーケンス・ツー・シーケンス・デノナイズ・モデルであるBARTの「大規模」アーキテクチャと事前学習方式を用いており、生成NLPタスクに特に適している。ベトナム語テキスト要約の下流タスクの実験では、自動評価と人的評価の両方において、BARTphoは強いベースラインmBARTを上回り、最先端技術を改善している。ベトナムのNLPタスクの今後の研究と応用を促進するため,BARTphoをリリースする。私たちのBARTphoモデルは、https://github.com/VinAIResearch/BARTphoで利用可能です。

関連論文リスト

Expanding Vietnamese SentiWordNet to Improve Performance of Vietnamese Sentiment Analysis Models [0.0]
本稿ではベトナム語レビューの感性分析のためのPhoBERT-V2とSentiWordnetを組み合わせた新しいアプローチを提案する。提案モデルではベトナム語に対してPhoBERT-V2を用いて,ベトナム語の文脈における顕著なBERTモデルのロバストな最適化を行う。
論文参考訳（メタデータ） (2025-01-15T12:22:37Z)
Empowering Backbone Models for Visual Text Generation with Input Granularity Control and Glyph-Aware Training [68.41837295318152]
拡散に基づくテキスト・ツー・イメージモデルでは、多様性と美学の素晴らしい成果が示されているが、視覚的なテキストで画像を生成するのに苦労している。既存のバックボーンモデルには、ミススペル、テキスト生成の失敗、中国語テキストのサポートの欠如といった制限がある。本稿では,英語と中国語の視覚テキスト生成にバックボーンモデルを活用するための一連の手法を提案する。
論文参考訳（メタデータ） (2024-10-06T10:25:39Z)
BARTPhoBEiT: Pre-trained Sequence-to-Sequence and Image Transformers Models for Vietnamese Visual Question Answering [3.0938904602244355]
VQA(Visual Question Answering)は、自然言語処理(NLP)とコンピュータビジョン(CV)を統合した複雑で要求の多いタスクである。本稿では,BARTPhoBEiTというトランスフォーマーベースのベトナム語モデルを紹介する。このモデルは、ベトナムのイメージトランスフォーマーから事前訓練されたシーケンス・ツー・シーケンスと双方向エンコーダ表現を含み、ベトナムのVQAデータセットを評価する。
論文参考訳（メタデータ） (2023-07-28T06:23:32Z)
Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification [59.625179404482594]
トレーニング前の段階では、ランダムなマスキングテキストが通常のテキストに分散しているため、モデルは単純なテキストを生成する能力を得ることができない。簡単なテキストを生成するための事前学習モデルを学習するための,新たな事前学習戦略を提案する。
論文参考訳（メタデータ） (2023-05-21T14:03:49Z)
Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
論文参考訳（メタデータ） (2022-07-30T14:34:55Z)
Pretraining is All You Need for Image-to-Image Translation [59.43151345732397]
画像から画像への一般的な翻訳を促進するために,事前学習を使うことを提案する。提案した事前学習型画像画像変換(PITI)は,前例のないリアリズムと忠実さのイメージを合成できることを示す。
論文参考訳（メタデータ） (2022-05-25T17:58:26Z)
AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive Summarization [23.540743628126837]
BARTに基づいてエンコーダとデコーダを事前訓練した最初のアラビアモデルであるAraBARTを提案する。 AraBARTは複数の抽象的な要約データセット上で最高の性能を発揮することを示す。
論文参考訳（メタデータ） (2022-03-21T13:11:41Z)
BARThez: a Skilled Pretrained French Sequence-to-Sequence Model [19.508391246171115]
本稿では,フランス初の大規模事前訓練セq2seqモデルであるBARThezを紹介する。 BARTをベースとしているBARThezは、生成タスクに特に適している。我々は、BARThezが最先端のBERTベースのフランス語モデルと非常に競合することを示した。
論文参考訳（メタデータ） (2020-10-23T11:57:33Z)
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation [50.0258495437314]
機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。 BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。 mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
論文参考訳（メタデータ） (2020-04-30T16:09:22Z)
PhoBERT: Pre-trained language models for Vietnamese [11.685916685552982]
PhoBERTはベトナムで事前訓練された最初の大規模モノリンガル言語モデルである。実験結果から, PhoBERT は最新の学習済み多言語モデル XLM-R よりも一貫して優れていた。我々はPhoBERTをリリースし、ベトナムのNLPの今後の研究と下流の応用を促進する。
論文参考訳（メタデータ） (2020-03-02T10:21:17Z)
Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
論文参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。