論文の概要: Reinforcement Learning with Token-level Feedback for Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2403.11558v1
• Date: Mon, 18 Mar 2024 08:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:07:12.752039
• Title: Reinforcement Learning with Token-level Feedback for Controllable Text Generation
• Title（参考訳）: 制御可能なテキスト生成のためのトークンレベルのフィードバックを用いた強化学習
• Authors: Wendi Li, Wei Wei, Kaihe Xu, Wenfeng Xie, Dangyang Chen, Yu Cheng,
• Abstract要約: token-Level rewards for controllable text generationを定式化するTOLEという新しい強化学習アルゴリズムを提案する。 実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 16.117006822479407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To meet the requirements of real-world applications, it is essential to control generations of large language models (LLMs). Prior research has tried to introduce reinforcement learning (RL) into controllable text generation while most existing methods suffer from overfitting issues (finetuning-based methods) or semantic collapse (post-processing methods). However, current RL methods are generally guided by coarse-grained (sentence/paragraph-level) feedback, which may lead to suboptimal performance owing to semantic twists or progressions within sentences. To tackle that, we propose a novel reinforcement learning algorithm named TOLE which formulates TOken-LEvel rewards for controllable text generation, and employs a "first-quantize-then-noise" paradigm to enhance the robustness of the RL algorithm.Furthermore, TOLE can be flexibly extended to multiple constraints with little computational expense. Experimental results show that our algorithm can achieve superior performance on both single-attribute and multi-attribute control tasks. We have released our codes at https://github.com/WindyLee0822/CTG
• Abstract（参考訳）: 実世界のアプリケーションに必要な要件を満たすためには、大規模言語モデル(LLM)の世代を制御することが不可欠である。 従来の研究は、強化学習(RL)を制御可能なテキスト生成に導入しようとしたが、既存のほとんどの手法は、過度に適合する問題(ファインタニング法)やセマンティック崩壊(ポストプロセッシング法)に悩まされていた。 しかし、現在のRL法は一般に粗い粒度(文/パラグラフレベル)のフィードバックによって導かれるため、文中の意味的なねじれや進行による最適以下のパフォーマンスにつながる可能性がある。 そこで本研究では,制御可能なテキスト生成のためのToken-Level報酬を定式化し,RLアルゴリズムのロバスト性を高めるために"First-quantize-then-noise"パラダイムを用いるTOLEという新しい強化学習アルゴリズムを提案する。 実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。 私たちはhttps://github.com/WindyLee0822/CTGでコードを公開しました。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• KRLS: Improving End-to-End Response Generation in Task Oriented Dialog with Reinforced Keywords Learning [25.421649004269373]
  タスク指向ダイアログ(TOD)では、強化学習アルゴリズムがタスク関連メトリクスの応答を直接最適化するためにモデルを訓練する。 オフライン環境でのTOD性能を改善するために,より効率的なRLベースのアルゴリズムを提案する。 MultiWoZデータセットの実験では、我々の新しいトレーニングアルゴリズムであるKeywords Reinforcement Learning with Next-word Smpling (KRLS)が最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-11-30T06:27:46Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization [73.74371798168642]
  我々は、強化学習による言語生成を最適化するためのオープンソースのモジュールライブラリRL4LMを紹介する。 次に、ターゲット文字列ではなく、報酬関数によって教師される6つの言語生成タスクのセットであるGRUEベンチマークを示す。 最後に,言語生成における動作空間を効果的に削減するNLPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:38:29Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)
• Reinforcement Learning with Augmented Data [97.42819506719191]
  本稿では,ほとんどのRLアルゴリズムを拡張可能なシンプルなプラグイン・アンド・プレイモジュールであるReinforcement Learning with Augmented Data (RAD)を提案する。 本稿では,RLアルゴリズムが複雑な最先端手法より優れていることを示すために,ランダム翻訳,作物,カラージッタ,パッチカットアウト,ランダム畳み込み,振幅スケールなどの拡張法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。