論文の概要: Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding

• arxiv url: http://arxiv.org/abs/2211.07634v1
• Date: Mon, 14 Nov 2022 18:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:19:20.096092
• Title: Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
• Title（参考訳）: 群衆の知恵をフォローする:最小ベイズリスク復号による効果的なテキスト生成
• Authors: Mirac Suzgun, Luke Melas-Kyriazi, Dan Jurafsky
• Abstract要約: 本稿では,ベイズリスク最小化に基づく復号法群である群集サンプリングについて述べる。 群衆のサンプリングは、最小限のリスクを持つ候補者のプールから候補者を選ぼうとする。 実験により, 群集サンプリングにより, 広範囲にわたる3～7ROUGE点とBLEU点の改善が得られた。
• 参考スコア（独自算出の注目度）: 27.454582992694974
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In open-ended natural-language generation, existing text decoding methods typically struggle to produce text which is both diverse and high-quality. Greedy and beam search are known to suffer from text degeneration and linguistic diversity issues, while temperature, top-k, and nucleus sampling often yield diverse but low-quality outputs. In this work, we present crowd sampling, a family of decoding methods based on Bayesian risk minimization, to address this diversity-quality trade-off. Inspired by the principle of "the wisdom of the crowd," crowd sampling seeks to select a candidate from a pool of candidates that has the least expected risk (i.e., highest expected reward) under a generative model according to a given utility function. Crowd sampling can be seen as a generalization of numerous existing methods, including majority voting, and in practice, it can be used as a drop-in replacement for existing sampling methods. Extensive experiments show that crowd sampling delivers improvements of 3-7 ROUGE and BLEU points across a wide range of tasks, including summarization, data-to-text, translation, and textual style transfer, while achieving new state-of-the-art results on WebNLG and WMT'16.
• Abstract（参考訳）: オープンな自然言語生成では、既存のテキスト復号法は、多様かつ高品質なテキストを生成するのに苦労する。 グリーディとビームサーチはテキストの変性と言語多様性の問題に苦しむことが知られており、温度、トップk、核サンプリングは多様だが低品質のアウトプットを生み出している。 本研究では,ベイズリスク最小化に基づくデコード手法である群集サンプリングを行い,この多様性のトレードオフに対処する。 群衆の知恵」の原理に着想を得て、集団サンプリングは、所定の効用関数に従って生成モデルの下で最も期待されるリスク(すなわち最も期待される報酬)の少ない候補のプールから候補者を選択する。 群衆サンプリングは多数決を含む多くの既存手法の一般化と見なすことができ、実際には既存のサンプリング方法のドロップイン代替として使うことができる。 大規模な実験により,WebNLG と WMT'16 上での新たな最先端結果の達成とともに,要約,データからテキストへの翻訳,テキストスタイルの転送など,幅広いタスクにわたる3～7ROUGE と BLEU 点の改善が得られた。

関連論文リスト

• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [4.122612309805664]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 トップトークンの確率に応じてスケールすることでモデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション法である min-p サンプリングを提案する。 我々はGPQA、GSM8K、AlpacaEval Creative Writingなどのベンチマーク実験を行い、min-pサンプリングが生成したテキストの品質と多様性を特に高温で改善することを示した。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Bilevel Scheduled Sampling for Dialogue Generation [6.89978591161039]
  文レベル情報を考慮し、単語レベルの品質を組み込んだバイレベルスケジュールサンプリングモデルを提案する。 DailyDialog と PersonaChat のデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-09-05T05:05:06Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
  テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。 提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
  論文  参考訳（メタデータ） (2021-05-08T08:53:16Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。