論文の概要: Copy that! Editing Sequences by Copying Spans

• arxiv url: http://arxiv.org/abs/2006.04771v2
• Date: Mon, 14 Dec 2020 10:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:49:07.146693
• Title: Copy that! Editing Sequences by Copying Spans
• Title（参考訳）: コピー! スパンのコピーによるシーケンスの編集
• Authors: Sheena Panthaplackel, Miltiadis Allamanis, Marc Brockschmidt
• Abstract要約: 1ステップで入力のスパン全体を出力にコピーできるSeq2seqモデルの拡張を提案する。 自然言語とソースコードの様々な編集タスクの実験において、我々の新しいモデルはより単純なベースラインを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 40.23377412674599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural sequence-to-sequence models are finding increasing use in editing of documents, for example in correcting a text document or repairing source code. In this paper, we argue that common seq2seq models (with a facility to copy single tokens) are not a natural fit for such tasks, as they have to explicitly copy each unchanged token. We present an extension of seq2seq models capable of copying entire spans of the input to the output in one step, greatly reducing the number of decisions required during inference. This extension means that there are now many ways of generating the same output, which we handle by deriving a new objective for training and a variation of beam search for inference that explicitly handles this problem. In our experiments on a range of editing tasks of natural language and source code, we show that our new model consistently outperforms simpler baselines.
• Abstract（参考訳）: ニューラルシークエンス・ツー・シークエンス・モデルは、例えばテキスト文書の修正やソースコードの修復など、ドキュメントの編集での利用が増えている。 本稿では、共通のseq2seqモデル(単一トークンをコピーする機能を持つ)は、変更されていないトークンを明示的にコピーしなければならないため、そのようなタスクに自然に適合しないと主張する。 本稿では,1ステップで入力のスパン全体を出力にコピーできるSeq2seqモデルを拡張し,推論に必要な決定回数を大幅に削減する。 この拡張により、私たちはトレーニングのための新しい目標と、この問題を明示的に扱う推論のためのビーム検索のバリエーションを導出することで、同じ出力を生成する多くの方法があります。 自然言語とソースコードの編集タスクの多岐にわたる実験において、我々の新しいモデルはより単純なベースラインを一貫して上回ることを示した。

関連論文リスト

• Seq2seq is All You Need for Coreference Resolution [26.551602768015986]
  トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 我々のモデルは、データセットの配列に関する文献の中で最高のコア参照システムより優れているか、あるいは密に一致します。
  論文  参考訳（メタデータ） (2023-10-20T19:17:22Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Text Generation with Text-Editing Models [78.03750739936956]
  このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。 生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
  論文  参考訳（メタデータ） (2022-06-14T17:58:17Z)
• May the Force Be with Your Copy Mechanism: Enhanced Supervised-Copy Method for Natural Language Generation [1.2453219864236247]
  本稿では,どの単語をコピーする必要があるか,どの単語を生成する必要があるかをモデルが決定するのに役立つ,コピーネットワークの新しい教師付きアプローチを提案する。 具体的には、ソースシーケンスとターゲット語彙をコピーのガイダンスとして利用する目的関数を再定義する。 データ・テキスト・ジェネレーションと抽象的要約タスクの実験結果から,本手法が複写品質を高め,抽象性の程度を向上することを確認した。
  論文  参考訳（メタデータ） (2021-12-20T06:54:28Z)
• Unsupervised Learning of General-Purpose Embeddings for Code Changes [6.652641137999891]
  事前学習中にコード変更の埋め込みを得る手法を提案する。 コードの変更とコミットメッセージ生成という、2つの異なる下流タスクでそれらを評価します。 本モデルでは,完全編集シーケンスを用いたモデルの精度を5.9ポイント向上させる。
  論文  参考訳（メタデータ） (2021-06-03T19:08:53Z)
• CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models [31.832217465573503]
  明示的なトークンレベルのコピー操作を持つモデルを示し、それを全スパンのコピーに拡張する。 我々のモデルは入力と出力のスパン間のハードアライメントを提供し、情報抽出のような非伝統的なセq2seqの応用を可能にする。
  論文  参考訳（メタデータ） (2020-10-28T22:45:16Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。