Fugu-MT 論文翻訳(概要): Text-to-Text Pre-Training for Data-to-Text Tasks

論文の概要: Text-to-Text Pre-Training for Data-to-Text Tasks

arxiv url: http://arxiv.org/abs/2005.10433v3
Date: Fri, 9 Jul 2021 00:42:32 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 23:30:27.403958
Title: Text-to-Text Pre-Training for Data-to-Text Tasks
Title（参考訳）: data-to-textタスクのためのtext-to-text事前トレーニング
Authors: Mihir Kale, Abhinav Rastogi
Abstract要約: データ・トゥ・テキスト・タスクのための事前訓練+微調整戦略について検討する。実験により,テキストからテキストへの事前学習により,単純なエンドツーエンドのトランスフォーマーモデルが実現できることが示唆された。
参考スコア（独自算出の注目度）: 9.690158790639131
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the pre-train + fine-tune strategy for data-to-text tasks. Our experiments indicate that text-to-text pre-training in the form of T5, enables simple, end-to-end transformer based models to outperform pipelined neural architectures tailored for data-to-text generation, as well as alternative language model based pre-training techniques such as BERT and GPT-2. Importantly, T5 pre-training leads to better generalization, as evidenced by large improvements on out-of-domain test sets. We hope our work serves as a useful baseline for future research, as transfer learning becomes ever more prevalent for data-to-text tasks.
Abstract（参考訳）: データ・ツー・テキストタスクの事前トレーニング+微調整戦略について検討する。実験の結果,テキスト・トゥ・テキスト・プレトレーニングをT5形式で行うことで,データ・ツー・テキスト生成に適したパイプライン型ニューラルネットワークモデルと,BERT や GPT-2 といった代替言語モデルに基づく事前トレーニング技術に勝ることを示す。重要な点として、T5事前トレーニングはドメイン外のテストセットを大きく改善することで証明されるように、より良い一般化をもたらす。私たちの研究が、データからテキストへのタスクでより普及するにつれて、将来の研究のベースラインとして役立つことを願っています。

関連論文リスト

ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model [0.0]
提案する大規模ドメイン固有データセット VOZ-HSD を事前トレーニングした T5 ベースのモデルである ViHateT5 を紹介する。 ViHateT5はテキストからテキストへのアーキテクチャのパワーを活用することで、統一モデルを使用して複数のタスクに対処し、ベトナムのすべての標準HSDベンチマークで最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2024-05-23T03:31:50Z)
Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文参考訳（メタデータ） (2023-11-20T14:50:12Z)
Investigating Pre-trained Language Models on Cross-Domain Datasets, a Step Closer to General AI [0.8889304968879164]
本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
論文参考訳（メタデータ） (2023-06-21T11:55:17Z)
GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content [27.901155229342375]
本稿では,言語モデルを用いたChatGPT生成対人文テキストの検出手法を提案する。テストデータセットの精度は97%以上で,さまざまな指標から評価した。
論文参考訳（メタデータ） (2023-05-13T17:12:11Z)
Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
論文参考訳（メタデータ） (2022-06-06T16:11:58Z)
Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文参考訳（メタデータ） (2022-05-18T09:17:14Z)
DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization [14.414693156937782]
テキスト生成のための新しいドメイン固有生成事前学習法(DS-GPT)を提案する。電子商取引モバイルディスプレイにおける製品タイトルと要約問題に応用する。
論文参考訳（メタデータ） (2021-12-15T19:02:49Z)
mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
論文参考訳（メタデータ） (2021-04-18T03:24:07Z)
Data-to-Text Generation with Iterative Text Editing [3.42658286826597]
本稿では,反復的テキスト編集に基づく新しいデータ・テキスト生成手法を提案する。まず、自明なテンプレートを用いてデータ項目をテキストに変換し、その後、文融合タスクのために訓練されたニューラルモデルにより結果のテキストを反復的に改善する。モデルの出力は単純で、既製の事前訓練言語モデルで再帰的にフィルタリングされる。
論文参考訳（メタデータ） (2020-11-03T13:32:38Z)
mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文参考訳（メタデータ） (2020-10-22T17:58:14Z)
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。