論文の概要: Felix: Flexible Text Editing Through Tagging and Insertion
- arxiv url: http://arxiv.org/abs/2003.10687v1
- Date: Tue, 24 Mar 2020 07:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:59:11.475449
- Title: Felix: Flexible Text Editing Through Tagging and Insertion
- Title（参考訳）: felix: タグと挿入による柔軟なテキスト編集
- Authors: Jonathan Mallinson, Aliaksei Severyn, Eric Malmi, Guillermo Garrido
- Abstract要約: Felixはフレキシブルなテキスト編集方式で、双方向コンテキストによるデコードと自己教師型事前学習のアイデアから最大限の利益を得るように設計されている。
テキスト編集タスクを2つのサブタスクに分解し、入力トークンのサブセットと出力テキストの順番をタグ付けし、入力に存在しない出力に欠落したトークンを埋め込む。
- 参考スコア（独自算出の注目度）: 21.55417495142206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Felix --- a flexible text-editing approach for generation,
designed to derive the maximum benefit from the ideas of decoding with
bi-directional contexts and self-supervised pre-training. In contrast to
conventional sequence-to-sequence (seq2seq) models, Felix is efficient in
low-resource settings and fast at inference time, while being capable of
modeling flexible input-output transformations. We achieve this by decomposing
the text-editing task into two sub-tasks: tagging to decide on the subset of
input tokens and their order in the output text and insertion to in-fill the
missing tokens in the output not present in the input. The tagging model
employs a novel Pointer mechanism, while the insertion model is based on a
Masked Language Model. Both of these models are chosen to be non-autoregressive
to guarantee faster inference. Felix performs favourably when compared to
recent text-editing methods and strong seq2seq baselines when evaluated on four
NLG tasks: Sentence Fusion, Machine Translation Automatic Post-Editing,
Summarization, and Text Simplification.
- Abstract（参考訳）: Felix -- 生成のための柔軟なテキスト編集アプローチで、双方向コンテキストによるデコードと自己教師型事前学習のアイデアから最大限の利益を得るように設計されています。
従来のsequence-to-sequence(seq2seq)モデルとは対照的に、felixは低リソース設定で効率的で推論時間も速いが、柔軟な入出力変換をモデル化できる。
テキスト編集タスクを2つのサブタスクに分解することで,入力トークンのサブセットと出力テキストの順序をタグ付けし,入力に存在しない出力の欠落トークンをインフィルする挿入を行う。
タグ付けモデルは新しいPointerメカニズムを採用し、挿入モデルはMasked Language Modelに基づいている。
どちらのモデルも高速な推論を保証するために非自己回帰的である。
Felix は Sentence Fusion, Machine Translation Automatic Post-Editing, Summarization, Text Simplification という 4 つの NLG タスクで評価した場合、最近のテキスト編集手法や強い seq2seq ベースラインと比較して好意的に機能する。
関連論文リスト
- Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳（メタデータ） (2022-11-15T05:22:40Z) - Text Editing as Imitation Game [33.418628166176234]
動作クローンを用いた模倣ゲームとしてテキスト編集を再構成する。
我々は、アクショントークン間の依存関係を保持しながら、デコーディングを並列化するデュアルデコーダ構造を導入する。
私たちのモデルは、パフォーマンス、効率、堅牢性の点で、自己回帰ベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2022-10-21T22:07:04Z) - Collocation2Text: Controllable Text Generation from Guide Phrases in
Russian [0.0]
Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。
この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。
提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
論文 参考訳（メタデータ） (2022-06-18T17:10:08Z) - Text Generation with Text-Editing Models [78.03750739936956]
このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。
生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
論文 参考訳（メタデータ） (2022-06-14T17:58:17Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳（メタデータ） (2022-04-15T07:38:08Z) - Data-to-Text Generation with Iterative Text Editing [3.42658286826597]
本稿では,反復的テキスト編集に基づく新しいデータ・テキスト生成手法を提案する。
まず、自明なテンプレートを用いてデータ項目をテキストに変換し、その後、文融合タスクのために訓練されたニューラルモデルにより結果のテキストを反復的に改善する。
モデルの出力は単純で、既製の事前訓練言語モデルで再帰的にフィルタリングされる。
論文 参考訳（メタデータ） (2020-11-03T13:32:38Z) - Text Editing by Command [82.50904226312451]
ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。
この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。
このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-10-24T08:00:30Z) - Cascaded Text Generation with Markov Transformers [122.76100449018061]
ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。
本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。
このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
論文 参考訳（メタデータ） (2020-06-01T17:52:15Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。