論文の概要: Improving Diversity of Neural Text Generation via Inverse Probability Weighting

• arxiv url: http://arxiv.org/abs/2103.07649v1
• Date: Sat, 13 Mar 2021 08:17:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:16:22.985419
• Title: Improving Diversity of Neural Text Generation via Inverse Probability Weighting
• Title（参考訳）: 逆確率重み付けによるニューラルテキスト生成の多様性向上
• Authors: Xinran Zhang, Maosong Sun, Jiafeng Liu and Xiaobing Li
• Abstract要約: 逆確率重み付けにインスパイアされたサンプリング手法を提案する。 繰り返しループに繋がる確率の高い,退屈な,あるいは反復的な候補も含んでいる可能性がある。 結果から,本アルゴリズムは,人文に近づきながら,生成したサンプルの多様性を効果的に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 43.36560720793425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural network based text generation suffers from the text degeneration issue such as repetition. Although top-k sampling and nucleus sampling outperform beam search based decoding methods, they only focus on truncating the "tail" of the distribution and do not address the "head" part, which we show might contain tedious or even repetitive candidates with high probability that lead to repetition loops. They also do not fully address the issue that human text does not always favor high probability words. To explore improved diversity for text generation, we propose a heuristic sampling method inspired by inverse probability weighting. We propose to use interquartile range of the predicted distribution to determine the "head" part, then permutate and rescale the "head" with inverse probability. This aims at decreasing the probability for the tedious and possibly repetitive candidates with higher probability, and increasing the probability for the rational but more surprising candidates with lower probability. The proposed algorithm provides a controllable variation on the predicted distribution which enhances diversity without compromising rationality of the distribution. We use pre-trained language model to compare our algorithm with nucleus sampling. Results show that our algorithm can effectively increase the diversity of generated samples while achieving close resemblance to human text.
• Abstract（参考訳）: ニューラルネットワークベースのテキスト生成は、繰り返しなどのテキスト劣化問題に悩まされる。 トップkサンプリングと核サンプリングはビーム探索に基づく復号法よりも優れているが、それらは分布の「テール」の切り換えにのみ焦点をあて、繰り返しループにつながる確率の高い退屈で反復的な候補を含む可能性がある「ヘッド」部分には対処しない。 また、人間の文章が必ずしも高い確率の単語を好まないという問題にも完全に対処していない。 テキスト生成の多様性を改善するために,逆確率重み付けに触発されたヒューリスティックサンプリング法を提案する。 本研究では,予測分布の四分位範囲を用いて「頭部」部分を決定し,逆確率で「頭部」を置換・再スケールする手法を提案する。 これは、退屈で反復的な候補の確率を高い確率で減少させ、有理だがより意外な候補の確率を低い確率で増加させることを目的としている。 提案手法は,分布の合理性を損なうことなく多様性を高める予測分布の制御可能な変動を与える。 プリトレーニングされた言語モデルを使用して、アルゴリズムと核サンプリングを比較します。 結果から,本アルゴリズムは,人文に近づきながら,生成したサンプルの多様性を効果的に向上させることができることがわかった。

関連論文リスト

• Estimating the Probabilities of Rare Outputs in Language Models [8.585890569162267]
  小型変圧器言語モデルからのargmaxサンプリングの文脈における低確率推定について検討した。 その結果、重要サンプリングはアクティベーション外挿より優れるが、どちらもナイーブサンプリングより優れていることがわかった。 低確率推定のための新しい手法は、最悪の場合の性能についてより強力な保証を提供するために必要である、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-17T04:31:18Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)
• On the Efficacy of Sampling Adapters [82.5941326570812]
  サンプリングアダプタを理解するための統一的なフレームワークを提案する。 彼らが実施するシフトは、正確さとリコールの間のトレードオフと見なすことができる、と私たちは主張する。 いくつかの精度強調尺度は、サンプリングアダプタが真の分布とより整合した確率分布をもたらすことを確実に示している。
  論文  参考訳（メタデータ） (2023-07-07T17:59:12Z)
• Truncation Sampling as Language Model Desmoothing [115.28983143361681]
  ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。 トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。 本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
  論文  参考訳（メタデータ） (2022-10-27T05:52:35Z)
• Diverse Human Motion Prediction via Gumbel-Softmax Sampling from an Auxiliary Space [34.83587750498361]
  多様な人間の動き予測は、観測されたポーズのシーケンスから、複数の将来のポーズシーケンスを予測することを目的としている。 従来のアプローチでは、通常、データの条件分布をモデル化するために深い生成ネットワークを使用し、その後、分布からランダムにサンプル結果を得る。 不均衡なマルチモーダル分布から非常に多様な結果をサンプリングするための新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-15T09:03:57Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。