論文の概要: Which Discriminator for Cooperative Text Generation?

• arxiv url: http://arxiv.org/abs/2204.11586v1
• Date: Mon, 25 Apr 2022 12:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 14:25:48.731482
• Title: Which Discriminator for Cooperative Text Generation?
• Title（参考訳）: 協調テキスト生成の差別化要因は何か?
• Authors: Antoine Chaffin, Thomas Scialom, Sylvain Lamprier, Jacopo Staiano, Benjamin Piwowarski, Ewa Kijak, Vincent Claveau
• Abstract要約: 関心の高まりは、デコードプロセスにおける外部情報を活用して、生成されたテキストが望ましい特性を持つようにしようとする。 解決策は、各生成ステップで分類器を使用することであり、結果として協調環境となる。 本稿では,この特殊な復号化作業に対して,変換器を用いた識別器の3つのファミリーについて検討する。
• 参考スコア（独自算出の注目度）: 25.090455367573988
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models generate texts by successively predicting probability distributions for next tokens given past ones. A growing field of interest tries to leverage external information in the decoding process so that the generated texts have desired properties, such as being more natural, non toxic, faithful, or having a specific writing style. A solution is to use a classifier at each generation step, resulting in a cooperative environment where the classifier guides the decoding of the language model distribution towards relevant texts for the task at hand. In this paper, we examine three families of (transformer-based) discriminators for this specific task of cooperative decoding: bidirectional, left-to-right and generative ones. We evaluate the pros and cons of these different types of discriminators for cooperative generation, exploring respective accuracy on classification tasks along with their impact on the resulting sample quality and computational performances. We also provide the code of a batched implementation of the powerful cooperative decoding strategy used for our experiments, the Monte Carlo Tree Search, working with each discriminator for Natural Language Generation.
• Abstract（参考訳）: 言語モデルは、過去のトークンの確率分布を逐次予測することでテキストを生成する。 関心の高まりは、デコードプロセスにおける外部情報を活用して、生成したテキストがより自然で有毒で、忠実で、特定の書体スタイルを持つような望ましい特性を持つようにしようとする。 解決策は、各生成ステップで分類器を使用することで、分類器が手元のタスクに関連するテキストに対して言語モデル分布の復号化をガイドする協調環境を実現する。 本稿では, この協調的復号化作業において, 双方向, 左から右へ, 生成する3種類の識別器について検討する。 協調生成のためのこれらの異なる分類器の長所と短所を評価し,分類タスクにおける各精度と結果のサンプル品質および計算性能に及ぼす影響について検討した。 また,実験で使用する強力な協調的デコード戦略であるモンテカルロ木探索のバッチ化実装のコードも提供し,各自然言語生成用識別器と連携する。

関連論文リスト

• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• Discriminating Human-authored from ChatGPT-Generated Code Via Discernable Feature Analysis [2.9398911304923447]
  本稿では,ChatGPTが生成するコードと,人間が作成したコードとを区別することを目的とする。 時間的・空間的セグメンテーションを用いたデータセット浄化手法を考案し,データセットの変形を緩和する。 データリソースをさらに強化するために、我々は、ChatGPT生成コードの1万行からなる広範囲なデータセットを生成する"コード変換"、"機能変換"、"機能カスタマイズ"技術を採用している。
  論文  参考訳（メタデータ） (2023-06-26T03:15:06Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)
• Massive-scale Decoding for Text Generation using Lattices [34.2658286826597]
  多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。 我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
  論文  参考訳（メタデータ） (2021-12-14T18:56:11Z)
• Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation [85.32991360774447]
  自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。 NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。 我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
  論文  参考訳（メタデータ） (2021-09-14T01:00:42Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Evidence-Aware Inferential Text Generation with Vector Quantised Variational AutoEncoder [104.25716317141321]
  本稿では,大規模なテキストコーパスからイベントの証拠を自動的に発見し,その証拠を利用して推論テキストの生成を導く手法を提案する。 このアプローチは、Event2MindとATOMICの両方のデータセットで最先端のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-15T02:59:52Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。