論文の概要: An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models

• arxiv url: http://arxiv.org/abs/2203.09486v1
• Date: Thu, 17 Mar 2022 17:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 15:48:10.058376
• Title: An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models
• Title（参考訳）: 非自己回帰モデルを用いたテキスト編集のための模倣学習カリキュラム
• Authors: Sweta Agrawal and Marine Carpuat
• Abstract要約: 機械翻訳のための模倣学習アルゴリズムは、訓練と推論のミスマッチを導入し、編集シナリオの過小評価や一般化に繋がることを示した。 制御可能なテキストの単純化と抽象的な要約という2つの難解な英語編集作業に対して,これらの戦略の有効性を示す。
• 参考スコア（独自算出の注目度）: 22.996178360362734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a framework for training non-autoregressive sequence-to-sequence models for editing tasks, where the original input sequence is iteratively edited to produce the output. We show that the imitation learning algorithms designed to train such models for machine translation introduces mismatches between training and inference that lead to undertraining and poor generalization in editing scenarios. We address this issue with two complementary strategies: 1) a roll-in policy that exposes the model to intermediate training sequences that it is more likely to encounter during inference, 2) a curriculum that presents easy-to-learn edit operations first, gradually increasing the difficulty of training samples as the model becomes competent. We show the efficacy of these strategies on two challenging English editing tasks: controllable text simplification and abstractive summarization. Our approach significantly improves output quality on both tasks and controls output complexity better on the simplification task.
• Abstract（参考訳）: 本稿では,タスク編集のための非自己回帰シーケンスからシーケンスへのモデルを学習するためのフレームワークを提案する。 機械翻訳のためにそのようなモデルを訓練するために設計された模倣学習アルゴリズムは、トレーニングと推論のミスマッチを導入し、編集シナリオにおける過小評価と一般化の欠如をもたらすことを示す。 この問題に2つの補完戦略で対処する。 1) 推論中に遭遇する可能性が高い中間のトレーニングシーケンスにモデルを公開するロールインポリシ。 2)学習が容易な編集操作を最初に提示するカリキュラムは,モデルが有能になるにつれて,トレーニングサンプルの難しさを徐々に高めていく。 制御可能なテキストの単純化と抽象的な要約という2つの難解な英語編集作業に対して,これらの戦略の有効性を示す。 提案手法は,タスクの出力品質を大幅に改善し,単純化タスクの出力複雑性を向上する。

関連論文リスト

• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Curriculum-Guided Abstractive Summarization [45.57561926145256]
  最近のTransformerベースの要約モデルは、抽象的な要約に有望なアプローチを提供してきた。 これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。 本稿では,これらの落とし穴を補うための2つの方法について検討する。まず,デコーダ内に文のクロスアテンションモジュールを配置することでトランスフォーマーネットワークを拡張し,より健全なコンテンツの抽象化を促進する。
  論文  参考訳（メタデータ） (2023-02-02T11:09:37Z)
• Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer [30.622772801446132]
  テキストスタイル転送のための半教師付きフレームワークを提案する。 まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。 そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
  論文  参考訳（メタデータ） (2022-05-19T05:18:06Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
  単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。 モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。 本モデルは,両サブタスクの上位10システムにランクインした。
  論文  参考訳（メタデータ） (2021-05-12T09:27:46Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• Controllable Text Simplification with Explicit Paraphrasing [88.02804405275785]
  テキストの単純化は、語彙パラフレーズ、削除、分割など、いくつかの書き換え変換を通じて文の可読性を向上させる。 現在の単純化システムは、主にシーケンス・ツー・シーケンスのモデルであり、これらすべての操作を同時に実行するためにエンドツーエンドで訓練されている。 そこで我々は,言語的に動機づけられた規則を用いて分割と削除を行い,それらをニューラルパラフレーズモデルと組み合わせて様々な書き直しスタイルを創出するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:44:40Z)
• Q-learning with Language Model for Edit-based Unsupervised Summarization [19.332743860240264]
  編集に基づく要約を用いたQ-ラーニングに基づく新しい手法を提案する。 このメソッドは2つのキーモジュールを組み合わせてエディターエージェントと言語モデルコンバータを形成する。 Q-learningは、適切な編集アクションを生成するためにエージェントを訓練するために利用される。
  論文  参考訳（メタデータ） (2020-10-09T05:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。