論文の概要: Residual Energy-Based Models for Text

• arxiv url: http://arxiv.org/abs/2004.10188v2
• Date: Mon, 21 Dec 2020 15:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:15:48.218946
• Title: Residual Energy-Based Models for Text
• Title（参考訳）: 残余エネルギーに基づくテキストモデル
• Authors: Anton Bakhtin and Yuntian Deng and Sam Gross and Myle Ott and Marc'Aurelio Ranzato and Arthur Szlam
• Abstract要約: 自動回帰言語モデルの世代は、統計的判別器によって実際のテキストと確実に区別できることを示す。 これは、自己回帰モデルが生成過程に(グローバルに正規化された)判別器を組み込むことで改善できることを示唆している。
• 参考スコア（独自算出の注目度）: 46.22375671394882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current large-scale auto-regressive language models display impressive fluency and can generate convincing text. In this work we start by asking the question: Can the generations of these models be reliably distinguished from real text by statistical discriminators? We find experimentally that the answer is affirmative when we have access to the training data for the model, and guardedly affirmative even if we do not. This suggests that the auto-regressive models can be improved by incorporating the (globally normalized) discriminators into the generative process. We give a formalism for this using the Energy-Based Model framework, and show that it indeed improves the results of the generative models, measured both in terms of perplexity and in terms of human evaluation.
• Abstract（参考訳）: 現在の大規模自動回帰型言語モデルは、印象的なフルエンシーを示し、説得力のあるテキストを生成することができる。 これらのモデルの世代は、統計的判別者によって実際のテキストと確実に区別できるのだろうか? 実験により,モデルのトレーニングデータにアクセスした場合には,回答は肯定的であり,そうでない場合でも保護的に肯定的であることがわかった。 これは、自己回帰モデルが生成過程に(グローバルに正規化された)判別器を組み込むことで改善できることを示唆している。 我々は、エネルギーベースのモデルフレームワークを用いてこれを形式化し、それは実際、パープレキシティと人的評価の両方の観点から測定された生成モデルの結果を改善することを示している。

関連論文リスト

• Transcendence: Generative Models Can Outperform The Experts That Train Them [55.885802048647655]
  生成モデルがデータを生成する専門家の能力を超える能力を達成するとき、超越現象を研究する。 我々は,自動回帰変換器をトレーニングして,ゲームスクリプティングからチェスを学習し,トレーニングされたモデルが,データセットのすべてのプレイヤーよりも優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-17T17:00:52Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Adapting a Language Model for Controlled Affective Text Generation [2.9267797650223653]
  我々は、感情的な(感情的な)テキストを生成するために、最先端の言語生成モデルを適用する。 我々は,GPT-2のような確率論的テキスト生成モデルにおいて,感情を先行として組み込むことを提案する。 このモデルは、ユーザが生成したテキストのトピックだけでなく、感情のカテゴリや強度を制御する柔軟性を提供する。
  論文  参考訳（メタデータ） (2020-11-08T15:24:39Z)
• Learning Opinion Dynamics From Social Traces [25.161493874783584]
  本稿では,現実の社会的トレースに,生成的,エージェントライクな意見力学モデルを適用するための推論機構を提案する。 本稿では,古典的エージェントに基づく意見力学モデルから,その生成的モデルへの変換による提案について紹介する。 われわれのモデルをRedditの現実世界のデータに適用して、バックファイア効果の影響に関する長年にわたる疑問を探る。
  論文  参考訳（メタデータ） (2020-06-02T14:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。