論文の概要: Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning

• arxiv url: http://arxiv.org/abs/2306.03350v1
• Date: Tue, 6 Jun 2023 01:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:40:27.635123
• Title: Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning
• Title（参考訳）: Click: 逐次的コントラスト学習による制御可能なテキスト生成
• Authors: Chujie Zheng, Pei Ke, Zheng Zhang, Minlie Huang
• Abstract要約: 制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
• 参考スコア（独自算出の注目度）: 69.35360098882606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has always been an important yet challenging problem to control language models to avoid generating texts with undesirable attributes, such as toxic language and unnatural repetition. We introduce Click for controllable text generation, which needs no modification to the model architecture and facilitates out-of-the-box use of trained models. It employs a contrastive loss on sequence likelihood, which fundamentally decreases the generation probability of negative samples (i.e., generations with undesirable attributes). It also adopts a novel likelihood ranking-based strategy to construct contrastive samples from model generations. On the tasks of language detoxification, sentiment steering, and repetition reduction, we show that Click outperforms strong baselines of controllable text generation and demonstrate the superiority of Click's sample construction strategy.
• Abstract（参考訳）: 有害な言語や不自然な反復など、望ましくない属性を持つテキストの生成を避けるために、言語モデルを制御することは、常に重要かつ困難な問題である。 モデルアーキテクチャの変更を必要とせず、トレーニング済みのモデルの利用を容易にする、制御可能なテキスト生成のためのクリックを導入する。 シークエンス確率には対照的な損失があり、負のサンプル(すなわち望ましくない属性を持つ世代)の生成確率を根本的に減少させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。 言語無害化,感情の操り,繰り返し削減のタスクにおいて,クリックは制御可能なテキスト生成の強いベースラインよりも優れており,クリックのサンプル構築戦略が優れていることを示す。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)
• Implicit Unlikelihood Training: Improving Neural Text Generation with Reinforcement Learning [0.0]
  より優れた生成を最適化する強化学習を用いて、言語モデルを微調整する。 本手法は,生成したテキストの繰り返しを最小化することに適用し,不一致訓練と組み合わせることで,言語モデルの品質に影響を与えずに繰り返しを少なくできることを示す。
  論文  参考訳（メタデータ） (2021-01-11T23:10:01Z)
• CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation [20.27052525082402]
  本稿では,制御可能な属性による逆テキストを生成する制御付き逆テキスト生成(CAT-Gen)モデルを提案する。 実世界のNLPデータセットを用いた実験により,本手法はより多種多様な逆数文を生成することができることが示された。
  論文  参考訳（メタデータ） (2020-10-05T21:07:45Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)
• A Controllable Model of Grounded Response Generation [122.7121624884747]
  現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。 我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。 このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T21:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。