論文の概要: BOLT: Fast Energy-based Controlled Text Generation with Tunable Biases

• arxiv url: http://arxiv.org/abs/2305.12018v1
• Date: Fri, 19 May 2023 22:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 01:14:22.448653
• Title: BOLT: Fast Energy-based Controlled Text Generation with Tunable Biases
• Title（参考訳）: BOLT:Tunable Biasesを用いた高速エネルギー制御テキスト生成
• Authors: Xin Liu, Muhammad Khalifa, and Lu Wang
• Abstract要約: 本稿では,言語モデルの出力ロジットを直接調整するために,調整可能なバイアスに依存するBOLTを提案する。 感情制御では、BOLTは競争基準の7倍の速さで、人間の審査員によると74.4%の評価サンプルに精通している。
• 参考スコア（独自算出の注目度）: 13.532388636220695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBMs) have gained popularity for controlled text generation due to their high applicability to a wide range of constraints. However, sampling from EBMs is non-trivial, as it often requires a large number of iterations to converge to plausible text, which slows down the decoding process and makes it less practical for real-world applications. In this work, we propose BOLT, which relies on tunable biases to directly adjust the language model's output logits. Unlike prior work, BOLT maintains the generator's autoregressive nature to assert a strong control on token-wise conditional dependencies and overall fluency, and thus converges faster. When compared with state-of-the-arts on controlled generation tasks using both soft constraints (e.g., sentiment control) and hard constraints (e.g., keyword-guided topic control), BOLT demonstrates significantly improved efficiency and fluency. On sentiment control, BOLT is 7x faster than competitive baselines, and more fluent in 74.4% of the evaluation samples according to human judges.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、幅広い制約に高い適用性があることから、制御されたテキスト生成で人気を博している。 しかし、ESMからのサンプリングは、しばしば可塑性テキストに収束するために大量のイテレーションを必要とするため、デコード処理を遅くし、現実世界のアプリケーションでは実用的でない。 本研究では,言語モデルの出力ロジットを直接調整するために,調整可能なバイアスに依存するBOLTを提案する。 従来の作業とは異なり、BOLTはジェネレータの自己回帰的な性質を維持し、トークン単位の条件依存と全体的なフラレンシの強い制御を主張する。 ソフトな制約(感情制御など)とハードな制約(キーワード誘導されたトピック制御など)の両方を用いて制御された生成タスクの最先端技術と比較すると、BOLTは効率と流速を大幅に向上させる。 感情制御では、BOLTは競争基準の7倍の速さで、人間の審査員によると74.4%の評価サンプルに精通している。

関連論文リスト

• Reinforcement Learning with Token-level Feedback for Controllable Text Generation [16.117006822479407]
  token-Level rewards for controllable text generationを定式化するTOLEという新しい強化学習アルゴリズムを提案する。 実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T08:18:37Z)
• LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
  本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
  論文  参考訳（メタデータ） (2024-02-10T11:53:48Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation [24.47531522553703]
  我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。 KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。 3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2023-06-17T19:40:57Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。