論文の概要: Quark: Controllable Text Generation with Reinforced Unlearning

• arxiv url: http://arxiv.org/abs/2205.13636v1
• Date: Thu, 26 May 2022 21:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 12:54:28.852393
• Title: Quark: Controllable Text Generation with Reinforced Unlearning
• Title（参考訳）: Quark: 強化アンラーニングによる制御可能なテキスト生成
• Authors: Ximing Lu, Sean Welleck, Liwei Jiang, Jack Hessel, Lianhui Qin, Peter West, Prithviraj Ammanabrolu, Yejin Choi
• Abstract要約: 大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
• 参考スコア（独自算出の注目度）: 68.07749519374089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale language models often learn behaviors that are misaligned with user expectations. Generated text may contain offensive or toxic language, contain significant repetition, or be of a different sentiment than desired by the user. We consider the task of unlearning these misalignments by fine-tuning the language model on signals of what not to do. We introduce Quantized Reward Konditioning (Quark), an algorithm for optimizing a reward function that quantifies an (un)wanted property, while not straying too far from the original model. Quark alternates between (i) collecting samples with the current language model, (ii) sorting them into quantiles based on reward, with each quantile identified by a reward token prepended to the language model's input, and (iii) using a standard language modeling loss on samples from each quantile conditioned on its reward token, while remaining nearby the original language model via a KL-divergence penalty. By conditioning on a high-reward token at generation time, the model generates text that exhibits less of the unwanted property. For unlearning toxicity, negative sentiment, and repetition, our experiments show that Quark outperforms both strong baselines and state-of-the-art reinforcement learning methods like PPO (Schulman et al. 2017), while relying only on standard language modeling primitives.
• Abstract（参考訳）: 大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 生成されたテキストは攻撃的あるいは有害な言語を含み、重要な繰り返しを含むか、利用者が求めるものとは異なる感情を持つ。 本研究では, 言語モデルを, すべきでないことの信号に基づいて微調整することで, 誤認識を解き明かす作業について考察する。 我々は,(非)不要な性質を定量化する報酬関数を最適化するアルゴリズムであるquantized reward konditioning (quark)を導入する。 クォークが交互に (i)現在の言語モデルでサンプルを集めること。 (ii) 言語モデルの入力に先立つ報酬トークンによって識別された各分位数を報酬に基づいて分位数に分類し、 三 報酬トークンに条件付された各定量値のサンプルに対する標準言語モデリング損失を使用し、一方、KL分割ペナルティを介して元の言語モデルの近くに留まる。 生成時にハイリワードトークンを条件付けすることで、モデルは不要なプロパティの少ないテキストを生成する。 未学習の毒性、ネガティブな感情、反復について、我々の実験は、Quarkが標準言語モデリングプリミティブにのみ依存しながら、強力なベースラインとPPO(Schulman et al. 2017)のような最先端の強化学習方法の両方を上回っていることを示している。

関連論文リスト

• MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models [40.992566245706996]
  トークンによる学習難易度を緩和するMiLe Loss関数を提案する。 我々は468M,1.2B,6.7Bパラメータの異なるスケールで生成言語モデルを訓練する。 実験により、提案されたMiLe Lossを組み込んだモデルが下流ベンチマークで一貫したパフォーマンス向上を達成できることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-30T13:33:21Z)
• GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
  本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。 GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。 言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-20T12:51:11Z)
• A Natural Bias for Language Generation Models [31.44752136404971]
  我々は、一グラムの周波数統計を先行知識として反映した別個のモジュールで、標準のニューラルネットワーク生成モデルを実現することができることを示す。 この単純なテクニックのテストベッドとしてニューラルマシン翻訳を使用し、(i)学習効率の向上、(ii)全体的なパフォーマンスの向上、そしておそらく最も重要なことは、強い周波数効果を歪めているように見えることです。
  論文  参考訳（メタデータ） (2022-12-19T18:14:36Z)
• DIRECTOR: Generator-Classifiers For Supervised Language Modeling [27.86870968048833]
  現在の言語モデルは難易度は低いが、結果として生じる世代は依然として有毒な反応、反復性、矛盾に悩まされている。 我々は,各出力トークンに対して,言語モデリングと分類ヘッドを併用した統一型ジェネレータからなる新しいアーキテクチャであるc Directorを導入する。
  論文  参考訳（メタデータ） (2022-06-15T17:44:08Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。