論文の概要: Residual Energy-Based Models for Text
- arxiv url: http://arxiv.org/abs/2004.10188v2
- Date: Mon, 21 Dec 2020 15:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 05:15:48.218946
- Title: Residual Energy-Based Models for Text
- Title(参考訳): 残余エネルギーに基づくテキストモデル
- Authors: Anton Bakhtin and Yuntian Deng and Sam Gross and Myle Ott and
Marc'Aurelio Ranzato and Arthur Szlam
- Abstract要約: 自動回帰言語モデルの世代は、統計的判別器によって実際のテキストと確実に区別できることを示す。
これは、自己回帰モデルが生成過程に(グローバルに正規化された)判別器を組み込むことで改善できることを示唆している。
- 参考スコア(独自算出の注目度): 46.22375671394882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current large-scale auto-regressive language models display impressive
fluency and can generate convincing text. In this work we start by asking the
question: Can the generations of these models be reliably distinguished from
real text by statistical discriminators? We find experimentally that the answer
is affirmative when we have access to the training data for the model, and
guardedly affirmative even if we do not.
This suggests that the auto-regressive models can be improved by
incorporating the (globally normalized) discriminators into the generative
process. We give a formalism for this using the Energy-Based Model framework,
and show that it indeed improves the results of the generative models, measured
both in terms of perplexity and in terms of human evaluation.
- Abstract(参考訳): 現在の大規模自動回帰型言語モデルは、印象的なフルエンシーを示し、説得力のあるテキストを生成することができる。
これらのモデルの世代は、統計的判別者によって実際のテキストと確実に区別できるのだろうか?
実験により,モデルのトレーニングデータにアクセスした場合には,回答は肯定的であり,そうでない場合でも保護的に肯定的であることがわかった。
これは、自己回帰モデルが生成過程に(グローバルに正規化された)判別器を組み込むことで改善できることを示唆している。
我々は、エネルギーベースのモデルフレームワークを用いてこれを形式化し、それは実際、パープレキシティと人的評価の両方の観点から測定された生成モデルの結果を改善することを示している。
関連論文リスト
- SelfEval: Leveraging the discriminative nature of generative models for
evaluation [35.7242199928684]
そこで本研究では,テキスト・画像生成モデルを「逆」にすることで,テキスト・画像認識能力を評価できることを示す。
提案手法はSelfEvalと呼ばれ,テキストプロンプトが与えられた実画像の確率を計算するために生成モデルを用いている。
論文 参考訳(メタデータ) (2023-11-17T18:58:16Z) - Generative Pre-training for Speech with Flow Matching [85.11403412270099]
我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。
実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
論文 参考訳(メタデータ) (2023-10-25T03:40:50Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Adapting a Language Model for Controlled Affective Text Generation [2.9267797650223653]
我々は、感情的な(感情的な)テキストを生成するために、最先端の言語生成モデルを適用する。
我々は,GPT-2のような確率論的テキスト生成モデルにおいて,感情を先行として組み込むことを提案する。
このモデルは、ユーザが生成したテキストのトピックだけでなく、感情のカテゴリや強度を制御する柔軟性を提供する。
論文 参考訳(メタデータ) (2020-11-08T15:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。