論文の概要: KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2306.10414v1
• Date: Sat, 17 Jun 2023 19:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 20:53:45.248206
• Title: KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation
• Title（参考訳）: KEST:制御可能なテキスト生成のためのカーネル距離に基づく効率的な自己学習
• Authors: Yuxi Feng, Xiaoyuan Yi, Laks V.S. Lakshmanan, and Xing Xie
• Abstract要約: 我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。 KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。 3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 24.47531522553703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training (ST) has come to fruition in language understanding tasks by producing pseudo labels, which reduces the labeling bottleneck of language model fine-tuning. Nevertheless, in facilitating semi-supervised controllable language generation, ST faces two key challenges. First, augmented by self-generated pseudo text, generation models tend to over-exploit the previously learned text distribution, suffering from mode collapse and poor generation diversity. Second, generating pseudo text in each iteration is time-consuming, severely decelerating the training process. In this work, we propose KEST, a novel and efficient self-training framework to handle these problems. KEST utilizes a kernel-based loss, rather than standard cross entropy, to learn from the soft pseudo text produced by a shared non-autoregressive generator. We demonstrate both theoretically and empirically that KEST can benefit from more diverse pseudo text in an efficient manner, which allows not only refining and exploiting the previously fitted distribution but also enhanced exploration towards a larger potential text space, providing a guarantee of improved performance. Experiments on three controllable generation tasks demonstrate that KEST significantly improves control accuracy while maintaining comparable text fluency and generation diversity against several strong baselines.
• Abstract（参考訳）: 自己学習(ST)は、擬似ラベルを生成することで言語理解タスクに結実し、言語モデルの微調整におけるラベル付けボトルネックを低減する。 しかし、半教師付き制御可能な言語生成を促進するために、STは2つの重要な課題に直面している。 まず、自己生成された擬似テキストによって強化された生成モデルは、以前に学習されたテキストの分布を過度に探索する傾向にあり、モード崩壊と低世代多様性に悩まされる。 第二に、各イテレーションで擬似テキストを生成するのは時間がかかり、トレーニングプロセスが著しく減速する。 本研究では,これらの問題に対処する新しい,効率的な自己学習フレームワークであるKESTを提案する。 kestは、標準クロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されるソフトな擬似テキストから学ぶ。 我々は、kestがより多様な疑似テキストを効率的に活用できることを理論的および実証的に証明する。これにより、以前適合したディストリビューションの精錬と活用が可能になるだけでなく、より大きな潜在的なテキスト空間への探索が促進され、パフォーマンス向上の保証が得られる。 3つの制御可能な生成タスクの実験により、KESTは複数の強いベースラインに対してテキストの流速と生成の多様性を維持しながら、制御精度を著しく向上することが示された。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• STA: Self-controlled Text Augmentation for Improving Text Classifications [2.9669250132689164]
  自然言語処理(NLP)の分野では,テキスト拡張技術が数多く出現している。 STA(Self-Controlled Text Augmentation)のための最先端手法を提案する。 提案手法は,生成したサンプルが元のテキストのセマンティックな内容を保持することを保証するための自己チェック手順を導入することで,生成過程を厳しく制御する。
  論文  参考訳（メタデータ） (2023-02-24T17:54:12Z)
• DuNST: Dual Noisy Self Training for Semi-Supervised Controllable Text Generation [34.49194429157166]
  ラベル付きデータが不十分な場合、事前学習された言語モデルの微調整を増強することにより、言語理解において再び自己学習(ST)が向上した。 STを属性制御可能な言語生成に組み込むことは依然として困難である。
  論文  参考訳（メタデータ） (2022-12-16T21:44:34Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。