論文の概要: On-the-Fly Controlled Text Generation with Experts and Anti-Experts

• arxiv url: http://arxiv.org/abs/2105.03023v1
• Date: Fri, 7 May 2021 01:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 22:33:26.873816
• Title: On-the-Fly Controlled Text Generation with Experts and Anti-Experts
• Title（参考訳）: エキスパートとアンチエキスパートによるオンザフライ制御テキスト生成
• Authors: Alisa Liu, Maarten Sap, Ximing Lu, Swabha Swayamdipta, Chandra Bhagavatula, Noah A. Smith, Yejin Choi
• Abstract要約: 本稿では,DExperts: Decoding-time Expertsを提案する。 私たちのアンサンブルの下では、出力トークンは専門家によって可能性が高く、おそらく反専門家によってのみ高い確率を得ます。
• 参考スコア（独自算出の注目度）: 70.41630506059113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advances in natural language generation, it remains challenging to control attributes of generated text. We propose DExperts: Decoding-time Experts, a decoding-time method for controlled text generation which combines a pretrained language model with experts and/or anti-experts in an ensemble of language models. Intuitively, under our ensemble, output tokens only get high probability if they are considered likely by the experts, and unlikely by the anti-experts. We apply DExperts to language detoxification and sentiment-controlled generation, where we outperform existing controllable generation methods on both automatic and human evaluations. Our work highlights the promise of using LMs trained on text with (un)desired attributes for efficient decoding-time controlled language generation.
• Abstract（参考訳）: 近年の自然言語生成の進歩にもかかわらず、生成したテキストの属性を制御することは依然として困難である。 本稿では,事前学習された言語モデルと専門家および/またはアンチ専門家を結合した,制御されたテキスト生成のための復号時間手法であるdexperts: decoding-time expertsを提案する。 直感的には、我々のアンサンブルの下では、出力トークンは専門家によってもたらされる可能性があり、反専門家によっても、高い確率しか得られない。 DExpertsを言語デトキシフィケーションと感情制御生成に適用し、自動評価と人的評価の両方において既存の制御可能な生成方法より優れています。 本研究は,テキスト上で訓練されたLMを(望ましくない属性で)効率的な復号時間制御言語生成に使用するという約束を強調した。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Personalized Text Generation with Fine-Grained Linguistic Control [9.668216418094316]
  複数の言語的次元にまたがる微粒な属性の制御に焦点をあてる。 生成モデルを訓練するための新しいベンチマークを導入し、パーソナライズされたテキストを生成する能力を評価する。
  論文  参考訳（メタデータ） (2024-02-07T14:41:08Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• Controllable Text Generation with Language Constraints [39.741059642044874]
  本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。 私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。 本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:39:21Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Controllable Generation from Pre-trained Language Models via Inverse Prompting [47.23315683944257]
  テキスト生成をよりよく制御する革新的な手法である逆プロンプトを提案する。 逆プロンプトは生成されたテキストを使用してビーム探索中に逆プロンプトを予測する。 その結果,提案手法はベースラインを大きく上回ることがわかった。
  論文  参考訳（メタデータ） (2021-03-19T08:36:52Z)
• GENIE: A Leaderboard for Human-in-the-Loop Evaluation of Text Generation [83.10599735938618]
  リーダーボードは、評価を標準化し、独立した外部リポジトリに委譲することで、多くのNLPデータセットのモデル開発を容易にしています。 本研究では、テキスト生成タスクにリーダーボードの容易さをもたらす人間評価リーダーボードであるGENIEを紹介します。
  論文  参考訳（メタデータ） (2021-01-17T00:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。