論文の概要: Tailor: Generating and Perturbing Text with Semantic Controls

• arxiv url: http://arxiv.org/abs/2107.07150v1
• Date: Thu, 15 Jul 2021 06:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 14:04:33.203760
• Title: Tailor: Generating and Perturbing Text with Semantic Controls
• Title（参考訳）: Tailor: セマンティックコントロールによるテキストの生成と摂動
• Authors: Alexis Ross, Tongshuang Wu, Hao Peng, Matthew E. Peters, Matt Gardner
• Abstract要約: Tailorは、意味論的に制御された方法でテキストを摂動するタスクに依存しない生成システムである。 我々は複雑な摂動戦略を構成することができる制御コードに対する一連の操作を実装している。
• 参考スコア（独自算出の注目度）: 44.770538161235876
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Making controlled perturbations is essential for various tasks (e.g., data augmentation), but building task-specific generators can be expensive. We introduce Tailor, a task-agnostic generation system that perturbs text in a semantically-controlled way. With unlikelihood training, we design Tailor's generator to follow a series of control codes derived from semantic roles. Through modifications of these control codes, Tailor can produce fine-grained perturbations. We implement a set of operations on control codes that can be composed into complex perturbation strategies, and demonstrate their effectiveness in three distinct applications: First, Tailor facilitates the construction of high-quality contrast sets that are lexically diverse, and less biased than original task test data. Second, paired with automated labeling heuristics, Tailor helps improve model generalization through data augmentation: We obtain an average gain of 1.73 on an NLI challenge set by perturbing just 5% of training data. Third, without any finetuning overhead, Tailor's perturbations effectively improve compositionality in fine-grained style transfer, outperforming fine-tuned baselines on 6 transfers.
• Abstract（参考訳）: 制御された摂動は様々なタスク(データ拡張など)に不可欠であるが、タスク固有のジェネレータの構築は高価である。 本論文では,テキストを意味的に制御するタスク依存生成システムであるTailorを紹介する。 意識訓練とは異なり、我々は意味的役割から派生した一連の制御符号に従うために、tailor ジェネレータを設計する。 これらの制御符号の変更により、tailorはきめ細かい摂動を生成することができる。 複雑な摂動戦略を構成することができる制御コードに対する一連の操作を実装し、その効果を3つの異なるアプリケーションで示す: まず、Tailorは、語彙的に多様で、元のタスクテストデータよりもバイアスが少ない高品質のコントラストセットの構築を容易にする。 第2に、自動ラベリングヒューリスティックと組み合わせることで、データ拡張によるモデル一般化の改善を支援します。 第3に、微調整のオーバーヘッドがなければ、tailorの摂動は、6つの転送で微調整されたベースラインを上回って、細粒度スタイル転送における構成性を効果的に改善する。

関連論文リスト

• A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models [12.572046828830699]
  大規模言語モデル(LLM)は、命令のチューニングで顕著な能力を示す。 目標タスクの高品質なチューニングデータがない場合には、理想的なタスクを達成できない。
  論文  参考訳（メタデータ） (2024-10-18T03:32:00Z)
• From Symbolic Tasks to Code Generation: Diversification Yields Better Task Performers [1.6958018695660049]
  コードに関連するタスクを超えて、より多様な命令セットがコード生成のパフォーマンスを向上させることを示す。 我々の観察から,命令調整セットのより多様な意味空間が,命令に従う能力とタスクの実行能力を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-05-30T07:54:07Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer [30.622772801446132]
  テキストスタイル転送のための半教師付きフレームワークを提案する。 まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。 そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
  論文  参考訳（メタデータ） (2022-05-19T05:18:06Z)
• Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
  半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2022-05-18T16:50:20Z)
• Is Disentanglement enough? On Latent Representations for Controllable Music Generation [78.8942067357231]
  強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。 VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-08-01T18:37:43Z)
• Transfer Learning for Sequence Generation: from Single-source to Multi-source [50.34044254589968]
  そこで本研究では,2段階のファイントゥニング手法を提案する。また,MSGタスクにおいて,より優れた表現を学習するための微細エンコーダを備えた新しいMSGモデルを提案する。 提案手法は,WMT17 APE タスクと WMT14 テストセットを用いたマルチソース翻訳タスクにおいて,新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-05-31T09:12:38Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。