論文の概要: EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start

• arxiv url: http://arxiv.org/abs/2205.12209v1
• Date: Tue, 24 May 2022 17:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 14:36:18.555434
• Title: EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start
• Title（参考訳）: EdiT5: T5 Warm-Startを使った半自動テキスト編集
• Authors: Jonathan Mallinson, Jakub Adamek, Eric Malmi, Aliaksei Severyn
• Abstract要約: EdiT5は、半自動的なテキスト編集アプローチである。 非自己回帰的テキスト編集と自己回帰的復号の長所を兼ね備えている。
• 参考スコア（独自算出の注目度）: 21.4394742421462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present EdiT5 - a novel semi-autoregressive text-editing approach designed to combine the strengths of non-autoregressive text-editing and autoregressive decoding. EdiT5 is faster at inference times than conventional sequence-to-sequence (seq2seq) models, while being capable of modeling flexible input-output transformations. This is achieved by decomposing the generation process into three sub-tasks: (1) tagging to decide on the subset of input tokens to be preserved in the output, (2) re-ordering to define their order in the output text, and (3) insertion to infill the missing tokens that are not present in the input. The tagging and re-ordering steps, which are responsible for generating the largest portion of the output, are non-autoregressive, while the insertion uses an autoregressive decoder. Depending on the task, EdiT5 requires significantly fewer autoregressive steps demonstrating speedups of up to 25x when compared to classic seq2seq models. Quality-wise, EdiT5 is initialized with a pre-trained T5 checkpoint yielding comparable performance to T5 in high-resource settings and clearly outperforms it on low-resource settings when evaluated on three NLG tasks: Sentence Fusion, Grammatical Error Correction, and Decontextualization.
• Abstract（参考訳）: 本稿では,非自己回帰型テキスト編集と自己回帰型デコーディングの強みを組み合わせた,新しい半自己回帰型テキスト編集手法であるedit5を提案する。 EdiT5は従来のSequence-to-Sequence(seq2seq)モデルよりも高速で、柔軟な入出力変換をモデル化できる。 これは生成プロセスを3つのサブタスクに分解することで実現される:(1) 出力に保存される入力トークンのサブセットを決定するタグ付け、(2) 出力テキストでそれらの順序を定義するように再順序付け、(3) 入力に存在しない欠落トークンを埋め込む挿入。 出力の最大の部分を生成するためのタグ付けと再順序付けステップは非自己回帰的であり、挿入は自己回帰デコーダを使用する。 タスクによっては、edit5は従来のseq2seqモデルと比べて最大25倍のスピードアップを示す自動回帰ステップを著しく削減する必要がある。 品質面では、EdiT5はトレーニング済みのT5チェックポイントで初期化され、高リソース設定ではT5に匹敵するパフォーマンスを示し、3つのNLGタスク(センテンスフュージョン、文法エラー補正、デコンテクライゼーション)で評価された場合、低リソース設定では明らかにT5より優れている。

関連論文リスト

• MrT5: Dynamic Token Merging for Efficient Byte-level Language Models [50.46453950887946]
  この作業はより効率的なBYT5の派生であるMergeT5(MergeT5)を導入している。 MrT5はトークン削除機構をエンコーダに統合し、入力シーケンスの長さを動的に短縮する。 英語のテキストでトレーニングすると、MrT5はその削除機能を複数の言語でゼロショットで転送する機能を示している。
  論文  参考訳（メタデータ） (2024-10-28T06:14:12Z)
• UT5: Pretraining Non autoregressive T5 with unrolled denoising [9.656399724144192]
  自動回帰型T5モデルの教師なし事前訓練について,非学習型聴覚障害者を用いて検討した。 我々は,SQuAD質問生成やXSumなどの下流生成タスクにおいて,そのSoTA結果を示した。
  論文  参考訳（メタデータ） (2023-11-14T21:28:10Z)
• Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.232873134174056]
  テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。 そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。 この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
  論文  参考訳（メタデータ） (2023-01-18T13:29:05Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models [10.645591218689058]
  テキスト・トゥ・テキスト・トランスフォーマー (T5) 文の埋め込みを初めて行う。 本稿では,T5文の埋め込みを抽出する3つの方法について検討する。 エンコーダのみのモデルは、転送タスクとセマンティックテキストの類似性の両方においてBERTベースの文埋め込みよりも優れています。
  論文  参考訳（メタデータ） (2021-08-19T18:58:02Z)
• NT5?! Training T5 to Perform Numerical Reasoning [0.8827543048499855]
  テキスト上の数値推論(NRoT)は、既存の事前学習目標ではうまく対処できないユニークな課題を提示します。 T5マルチタスクフレームワークを複数の数値推論データセットでトレーニングすることで、手動で分割機能を設計することなく、難易度を高めることができることを示した。
  論文  参考訳（メタデータ） (2021-04-15T08:34:44Z)
• Improving Sequence-to-Sequence Pre-training via Sequence Span Rewriting [54.03356526990088]
  本稿では,Sequence Span Rewriting (SSR) を自己教師付きシーケンス・ツー・シーケンス(seq2seq)事前学習目的として提案する。 SSRは、モデルに不完全なスパンを書き直すように監督することで、より細かい学習信号をテキスト表現に提供します。 各種Seq2seqタスクのT5モデルによる実験により,SSRはSeq2seq事前学習を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-01-02T10:27:11Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。