Fugu-MT 論文翻訳(概要): Classifiers are Better Experts for Controllable Text Generation

論文の概要: Classifiers are Better Experts for Controllable Text Generation

arxiv url: http://arxiv.org/abs/2205.07276v1
Date: Sun, 15 May 2022 12:58:35 GMT
ステータス: 処理完了
システム内更新日: 2022-05-18 07:13:27.723651
Title: Classifiers are Better Experts for Controllable Text Generation
Title（参考訳）: 分類器は制御可能なテキスト生成のエキスパートとして優れている
Authors: Askhat Sitdikov, Nikita Balagansky, Daniil Gavrilov, Alexander Markov
Abstract要約: 提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
参考スコア（独自算出の注目度）: 63.17266060165098
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper proposes a simple method for controllable text generation based on weighting logits produced, namely CAIF sampling. Using an arbitrary third-party text classifier, we adjust a small part of a language model's logits and guide text generation towards or away from classifier prediction. We show that the proposed method significantly outperforms recent PPLM, GeDi, and DExperts on PPL and sentiment accuracy based on the external classifier of generated texts. A the same time, it is also easier to implement and tune, and has significantly fewer restrictions and requirements.
Abstract（参考訳）: 本稿では,生成したロジットの重み付け,すなわちcaifサンプリングに基づく簡易なテキスト生成法を提案する。任意のサードパーティのテキスト分類器を用いて、言語モデルのロジットの小さな部分を調整し、分類器の予測からテキスト生成を誘導する。提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。

関連論文リスト

Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文参考訳（メタデータ） (2024-02-27T14:16:19Z)
ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
論文参考訳（メタデータ） (2024-02-17T02:25:57Z)
Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
論文参考訳（メタデータ） (2023-12-29T18:00:56Z)
Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
論文参考訳（メタデータ） (2023-11-24T13:41:12Z)
Copy Is All You Need [66.00852205068327]
既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2023-07-13T05:03:26Z)
Controlling Pre-trained Language Models for Grade-Specific Text Simplification [22.154454849167077]
本研究では,異なる制御機構がテキスト単純化システムの妥当性と簡易性に与える影響について検討する。本稿では,インスタンス単位のインスタンス単位で,特定のグレードレベルのテキストを簡略化するために必要な編集操作を簡易に予測する手法を提案する。
論文参考訳（メタデータ） (2023-05-24T10:29:45Z)
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文参考訳（メタデータ） (2022-10-06T19:00:51Z)
Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers [8.19984844136462]
本稿では,長文と短文の分類器の性能向上に適したテキスト生成手法を提案し,評価する。シミュレーションされた低データレギュレーションでは、最大15.53%の加算精度ゲインが達成される。さまざまな種類のデータセットに対するアプローチを成功に導くための意味とパターンについて議論します。
論文参考訳（メタデータ） (2021-03-26T13:16:07Z)
Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文参考訳（メタデータ） (2020-10-12T19:42:25Z)
POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。