論文の概要: Text Editing as Imitation Game

• arxiv url: http://arxiv.org/abs/2210.12276v1
• Date: Fri, 21 Oct 2022 22:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:51:16.953186
• Title: Text Editing as Imitation Game
• Title（参考訳）: 模倣ゲームとしてのテキスト編集
• Authors: Ning Shi, Bin Tang, Bo Yuan, Longtao Huang, Yewen Pu, Jie Fu, Zhouhan Lin
• Abstract要約: 動作クローンを用いた模倣ゲームとしてテキスト編集を再構成する。 我々は、アクショントークン間の依存関係を保持しながら、デコーディングを並列化するデュアルデコーダ構造を導入する。 私たちのモデルは、パフォーマンス、効率、堅牢性の点で、自己回帰ベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 33.418628166176234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text editing, such as grammatical error correction, arises naturally from imperfect textual data. Recent works frame text editing as a multi-round sequence tagging task, where operations -- such as insertion and substitution -- are represented as a sequence of tags. While achieving good results, this encoding is limited in flexibility as all actions are bound to token-level tags. In this work, we reformulate text editing as an imitation game using behavioral cloning. Specifically, we convert conventional sequence-to-sequence data into state-to-action demonstrations, where the action space can be as flexible as needed. Instead of generating the actions one at a time, we introduce a dual decoders structure to parallel the decoding while retaining the dependencies between action tokens, coupled with trajectory augmentation to alleviate the distribution shift that imitation learning often suffers. In experiments on a suite of Arithmetic Equation benchmarks, our model consistently outperforms the autoregressive baselines in terms of performance, efficiency, and robustness. We hope our findings will shed light on future studies in reinforcement learning applying sequence-level action generation to natural language processing.
• Abstract（参考訳）: 文法的誤り訂正のようなテキスト編集は、不完全なテキストデータから自然に発生する。 最近のワークフレームテキストの編集は、挿入や置換といった操作をタグのシーケンスとして表現するマルチラウンドシーケンスタグタスクとして行われている。 優れた結果を達成する一方で、すべてのアクションがトークンレベルのタグにバインドされるため、このエンコーディングは柔軟性に制限される。 本研究では,テキスト編集を行動クローニングを用いた模倣ゲームとして再構成する。 具体的には、従来のシーケンスからシーケンスまでのデータを、アクション空間が必要に応じて柔軟になる状態からアクションへのデモンストレーションに変換する。 アクションを一度に生成する代わりに、アクショントークン間の依存関係を保持しながらデコーディングを並列化するデュアルデコーダ構造と、模倣学習がしばしば直面する分散シフトを軽減するための軌道拡張を導入します。 算術式ベンチマークを用いた実験において,本モデルは,性能,効率,ロバスト性の観点から,自己回帰ベースラインを一貫して上回っている。 自然言語処理にシーケンスレベルアクション生成を応用した強化学習の今後の研究に光を当てていきたい。

関連論文リスト

• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Co-Speech Gesture Detection through Multi-Phase Sequence Labeling [3.924524252255593]
  本稿では,タスクをマルチフェーズシーケンスラベリング問題として再編成する新しいフレームワークを提案する。 本稿では,タスク指向の対面対話における多様な音声ジェスチャーのデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-08-21T12:27:18Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Discontinuous Grammar as a Foreign Language [0.7412445894287709]
  構成解析のためのシーケンス・ツー・シーケンス・モデルの枠組みを拡張した。 我々は不連続性を完全に生成できるいくつかの新規化を設計する。 提案手法はまず,主要な不連続なベンチマーク上でシーケンス・ツー・シーケンス・モデルをテストする。
  論文  参考訳（メタデータ） (2021-10-20T08:58:02Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Seq2Edits: Sequence Transduction Using Span-level Edit Operations [10.785577504399077]
  Seq2Editsは自然言語処理(NLP)タスクのシーケンス編集のためのオープン語彙のアプローチである。 我々は5つのNLPタスク(テキスト正規化、文融合、文分割と言い換え、テキスト単純化、文法的誤り訂正)における手法を評価する。 文法的誤り訂正では,全列モデルと比較して最大5.2倍の速度で推論を高速化する。
  論文  参考訳（メタデータ） (2020-09-23T13:28:38Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。