論文の概要: Effective Unsupervised Constrained Text Generation based on Perturbed Masking

• arxiv url: http://arxiv.org/abs/2404.15877v1
• Date: Wed, 24 Apr 2024 13:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:10:55.742753
• Title: Effective Unsupervised Constrained Text Generation based on Perturbed Masking
• Title（参考訳）: 摂動マスキングに基づく効果的な教師なし制約テキスト生成
• Authors: Yingwen Fu, Wenjie Ou, Zhou Yu, Yue Lin,
• Abstract要約: PMCTGは各ステップで最高の編集位置とアクションを検索する。 キーワード対文生成とパラフレーズ生成という2つの代表的なタスクで、最先端の新たな結果を実現する。
• 参考スコア（独自算出の注目度）: 23.086721816547254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised constrained text generation aims to generate text under a given set of constraints without any supervised data. Current state-of-the-art methods stochastically sample edit positions and actions, which may cause unnecessary search steps. In this paper, we propose PMCTG to improve effectiveness by searching for the best edit position and action in each step. Specifically, PMCTG extends perturbed masking technique to effectively search for the most incongruent token to edit. Then it introduces four multi-aspect scoring functions to select edit action to further reduce search difficulty. Since PMCTG does not require supervised data, it could be applied to different generation tasks. We show that under the unsupervised setting, PMCTG achieves new state-of-the-art results in two representative tasks, namely keywords-to-sentence generation and paraphrasing.
• Abstract（参考訳）: 教師なし制約付きテキスト生成は、教師付きデータなしで与えられた制約セットの下でテキストを生成することを目的としている。 現在の最先端の手法は、編集位置と動作を確率的にサンプリングし、不要な探索ステップを引き起こす可能性がある。 本稿では,各ステップにおける最適な編集位置と動作を探索することで,効率を向上させるPMCTGを提案する。 具体的には、PMCTGは摂動マスク技術を拡張して、編集する最も一貫性のないトークンを効果的に検索する。 次に、4つのマルチアスペクトスコアリング機能を導入し、編集アクションを選択して検索の難しさをさらに軽減する。 PMCTGは教師付きデータを必要としないため、異なる生成タスクに適用することができる。 PMCTGは,教師なし環境下で,キーワード・文生成とパラフレーズ生成という2つの代表的なタスクにおいて,新たな最先端結果を実現する。

関連論文リスト

• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Controlling keywords and their positions in text generation [9.364474645068638]
  我々は、キーワードだけでなく、テキスト生成における各キーワードの位置も制御する新しいタスクに取り組む。 そこで本研究では,キーワードの相対的な位置を制御するために特別なトークンを使用するタスク非依存の手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T09:11:45Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• MReD: A Meta-Review Dataset for Controllable Text Generation [38.430158309441495]
  本稿では,抽出モデルと抽象モデルの両方を用いた制御手法を提案する。 MReDにより、メタレビューコーパスをよりよく理解し、制御可能なテキスト生成のための研究室を拡大できる。
  論文  参考訳（メタデータ） (2021-10-14T15:48:03Z)
• MOST: A Multi-Oriented Scene Text Detector with Localization Refinement [67.35280008722255]
  シーンテキスト検出のための新しいアルゴリズムを提案し、テキストローカリゼーションの品質を大幅に向上させる一連の戦略を提案する。 具体的には,テキスト・フィーチャー・アライメント・モジュール (TFAM) を提案し,特徴の受容領域を動的に調整する。 信頼できないものを排除するために、位置認識非最大抑制(PA-NMS)モジュールを考案する。
  論文  参考訳（メタデータ） (2021-04-02T14:34:41Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)
• Token Manipulation Generative Adversarial Network for Text Generation [0.0]
  我々は条件付きテキスト生成問題を,make-a-blank と fill-in-blank の2つのタスクに分解し,前者を拡張してより複雑なトークン操作を行う。 提案モデルでは,限界に対処するだけでなく,品質や多様性の面で性能を損なうことなく良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-06T13:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。