論文の概要: Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation

• arxiv url: http://arxiv.org/abs/2106.15078v1
• Date: Tue, 29 Jun 2021 03:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:46:22.358750
• Title: Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation
• Title（参考訳）: テキスト生成のための編集不変シーケンス損失
• Authors: Guangyi Liu, Zichao Yang, Tianhua Tao, Xiaodan Liang, Zhen Li, Bowen Zhou, Shuguang Cui, Zhiting Hu
• Abstract要約: 生成したn-gramのすべてのn-gramとの一致損失を計算した新しい編集不変シーケンス損失(EISL)を提案する。 ノイズの多いターゲットシーケンスを持つ機械翻訳,教師なしテキストスタイル転送,非自己回帰型機械翻訳の3つのタスクについて実験を行った。
• 参考スコア（独自算出の注目度）: 109.46348908829697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text generation models are typically trained by maximizing log-likelihood with the sequence cross entropy loss, which encourages an exact token-by-token match between a target sequence with a generated sequence. Such training objective is sub-optimal when the target sequence not perfect, e.g., when the target sequence is corrupted with noises, or when only weak sequence supervision is available. To address this challenge, we propose a novel Edit-Invariant Sequence Loss (EISL), which computes the matching loss of a target n-gram with all n-grams in the generated sequence. EISL draws inspirations from convolutional networks (ConvNets) which are shift-invariant to images, hence is robust to the shift of n-grams to tolerate edits in the target sequences. Moreover, the computation of EISL is essentially a convolution operation with target n-grams as kernels, which is easy to implement with existing libraries. To demonstrate the effectiveness of EISL, we conduct experiments on three tasks: machine translation with noisy target sequences, unsupervised text style transfer, and non-autoregressive machine translation. Experimental results show our method significantly outperforms cross entropy loss on these three tasks.
• Abstract（参考訳）: ニューラルテキスト生成モデルは、典型的には、シーケンスのクロスエントロピー損失を最大化することで、ターゲットシーケンスと生成されたシーケンスとの正確なトークン・バイ・トークンマッチングを促進することによって訓練される。 このようなトレーニング対象は、ターゲットシーケンスが完璧でない場合、例えば、ターゲットシーケンスがノイズで破損した場合、または弱いシーケンス監視しかできない場合、準最適である。 そこで本研究では,n-gramとn-gramのマッチング損失を計算する新しい編集不変シーケンス損失(eisl)を提案する。 EISLは画像に不変な畳み込みネットワーク(ConvNet)からインスピレーションを得ているため、ターゲットシーケンスの編集を許容するn-gramsのシフトに対して堅牢である。 さらに、EISLの計算は基本的にカーネルとしてn-gramをターゲットとする畳み込み演算であり、既存のライブラリで容易に実装できる。 eislの有効性を実証するために,ノイズのあるターゲットシーケンスを用いた機械翻訳,教師なしテキストの転送,非自己回帰機械翻訳の3つのタスクについて実験を行った。 実験の結果, この3つの課題において, クロスエントロピー損失を有意に上回った。

関連論文リスト

• Symbolic Autoencoding for Self-Supervised Sequence Learning [24.71036683224435]
  $Sigma$AEは、限られた並列データとともに豊富な非並列データのパワーを利用する、自己管理型のフレームワークである。 この結果から,$Sigma$AEは最小並列データであっても,トランスダクションタスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T11:04:31Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Extrapolative Controlled Sequence Generation via Iterative Refinement [22.42501277690634]
  本研究では,外挿制御生成の問題,すなわち,トレーニングで見られる範囲を超えて属性値を持つシーケンスを生成する問題について検討する。 本研究では,反復的制御外挿法 (ICE) を提案する。 1つの自然言語タスク(感覚分析)と2つのタンパク質工学タスク(ACE2安定性とAAV適合性)の結果、ICEは単純さにもかかわらず最先端のアプローチをかなり上回っている。
  論文  参考訳（メタデータ） (2023-03-08T13:21:27Z)
• Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation [21.886973310718457]
  本稿では,文法的誤り訂正のための新しいSequence-to-Action(S2A)モジュールを提案する。 S2Aモジュールは、ソースとターゲット文を共同で入力とし、トークンレベルのアクションシーケンスを自動的に生成することができる。 我々のモデルはセq2seqベースラインを一貫して上回り、過補正問題を著しく軽減することができる。
  論文  参考訳（メタデータ） (2022-05-22T17:47:06Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。