論文の概要: Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity

• arxiv url: http://arxiv.org/abs/2007.14966v2
• Date: Thu, 14 Jan 2021 21:36:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 20:45:53.389329
• Title: Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity
• Title（参考訳）: Mirostat: 難易度を直接制御するニューラルテキスト復号アルゴリズム
• Authors: Sourya Basu, Govardana Sachitanandam Ramachandran, Nitish Shirish Keskar, Lav R. Varshney
• Abstract要約: 我々は、トップk、トップp、温度サンプリングにおけるパープレキシティの理論解析を用いて、フィードバックに基づく適応的なトップkテキスト復号アルゴリズムであるミロスタットを設計する。 実験により、トップkおよびトップpサンプリングにおけるkとpの低い値に対して、パープレキシティは生成したテキストの長さとともに著しく低下することが示された。 k と p の大きな値の場合、テキスト長の生成とともにパープレキシティが増加し、テキストの不整合と相関する。
• 参考スコア（独自算出の注目度）: 22.15683400807154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text decoding is important for generating high-quality texts using language models. To generate high-quality text, popular decoding algorithms like top-k, top-p (nucleus), and temperature-based sampling truncate or distort the unreliable low probability tail of the language model. Though these methods generate high-quality text after parameter tuning, they are ad hoc. Not much is known about the control they provide over the statistics of the output, which is important since recent reports show text quality is highest for a specific range of likelihoods. Here, first we provide a theoretical analysis of perplexity in top-k, top-p, and temperature sampling, finding that cross-entropy behaves approximately linearly as a function of p in top-p sampling whereas it is a nonlinear function of k in top-k sampling, under Zipfian statistics. We use this analysis to design a feedback-based adaptive top-k text decoding algorithm called mirostat that generates text (of any length) with a predetermined value of perplexity, and thereby high-quality text without any tuning. Experiments show that for low values of k and p in top-k and top-p sampling, perplexity drops significantly with generated text length, which is also correlated with excessive repetitions in the text (the boredom trap). On the other hand, for large values of k and p, we find that perplexity increases with generated text length, which is correlated with incoherence in the text (confusion trap). Mirostat avoids both traps: experiments show that cross-entropy has a near-linear relation with repetition in generated text. This relation is almost independent of the sampling method but slightly dependent on the model used. Hence, for a given language model, control over perplexity also gives control over repetitions. Experiments with human raters for fluency, coherence, and quality further verify our findings.
• Abstract（参考訳）: 言語モデルを用いた高品質テキスト生成には, ニューラルテキストの復号化が重要である。 高品質なテキストを生成するために、トップk、トップp(核)、温度ベースサンプリングといった一般的な復号アルゴリズムが言語モデルの信頼できない低確率テールを切断または歪ませる。 これらの方法はパラメータチューニング後に高品質なテキストを生成するが、アドホックである。 最近の報告では、テキストの品質が特定の可能性の範囲で最も高いことが示されており、出力の統計に対する制御についてはあまり分かっていない。 本稿では,まず,トップk,トップp,温度サンプリングにおけるパープレキシティの理論的解析を行い,クロスエントロピーはトップpサンプリングにおけるpの関数としてほぼ線形に振る舞うが,トップkサンプリングではkの非線形関数である。 この分析手法を用いて,任意の長さのテキストを生成するミロスタットという,フィードバックに基づく適応型トップkテキスト復号アルゴリズムを設計する。 実験の結果,k と p の値が低い場合,k と p のサンプリングでは,テキストの長さが増加し,テキスト中の過剰な繰り返し(退屈トラップ)と相関することが明らかとなった。 一方, k と p の値が大きい場合には,テキストの非コヒーレンス(コンフュージョントラップ)と相関するテキスト長によってパープレキシティが増大することがわかった。 実験により、クロスエントロピーは生成されたテキストの繰り返しとほぼ直線的な関係を持つことが示された。 この関係はサンプリング法とほぼ独立であるが、使用したモデルに若干依存する。 したがって、ある言語モデルに対して、パープレキシティの制御もまた繰り返しの制御を与える。 人間のレーナーによる実験は、流布、コヒーレンス、品質がさらに検証される。

関連論文リスト

• LRANet: Towards Accurate and Efficient Scene Text Detection with Low-Rank Approximation Network [63.554061288184165]
  低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。 異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。 我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
  論文  参考訳（メタデータ） (2023-06-27T02:03:46Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• TextDCT: Arbitrary-Shaped Text Detection via Discrete Cosine Transform Mask [19.269070203448187]
  任意形状のシーンテキスト検出は、フォント、サイズ、色、方向のさまざまな変更があるため、難しい作業である。 本研究では,テキストマスクをコンパクトなベクトルとして符号化する離散コサイン変換(DCT)を採用した,新しい軽量アンカーフリーテキスト検出フレームワークTextDCTを提案する。 TextDCTは、毎秒17.2フレームで85.1、CTW1500の15.1FPSで84.9、トータルテキストデータセットで84.9のF測定を実現している。
  論文  参考訳（メタデータ） (2022-06-27T15:42:25Z)
• A Fast Randomized Algorithm for Massive Text Normalization [26.602776972067936]
  大規模テキストデータのクリーン化と正準化を行うスケーラブルなランダム化アルゴリズムであるFLANを提案する。 本アルゴリズムは, 単語間のジャカード類似性を利用して補正結果を提案する。 実世界のデータセットに対する実験結果は,FLANの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-10-06T19:18:17Z)
• Bidirectional Regression for Arbitrary-Shaped Text Detection [16.30976392505236]
  本稿では,前景情報と背景情報の両方をパイプラインに統合した新しいテキストインスタンス表現を提案する。 対応する後処理アルゴリズムは、4つの予測結果を逐次組み合わせてテキストインスタンスを正確に再構築するように設計されている。 本手法は,曲面および多目的テキストデータセットを含む,いくつかの挑戦的なシーンテキストベンチマークで評価する。
  論文  参考訳（メタデータ） (2021-07-13T14:29:09Z)
• BOTD: Bold Outline Text Detector [85.33700624095181]
  我々はBold Outline Text Detector(BOTD)と呼ばれる新しい1段テキスト検出器を提案する。 BOTDは、モデルの複雑さを低くして任意の形のテキストを処理できる。 3つの実世界のベンチマークによる実験結果から,BOTDの最先端性能が示された。
  論文  参考訳（メタデータ） (2020-11-30T11:54:14Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Investigating Label Bias in Beam Search for Open-ended Text Generation [8.331919991368366]
  オープンエンドテキスト生成では、ビームサーチはしばしば繰り返しおよびジェネリックテキストを生成する。 標準Seq2seqモデルは、その局所正規化確率の定式化によりラベルバイアスに悩まされる。 局所正規化最大推定とグローバル正規化シーケンスレベルのトレーニングを組み合わせることで、難易度を犠牲にすることなくラベルバイアスを低減できる。
  論文  参考訳（メタデータ） (2020-05-22T05:17:53Z)
• Sparse Text Generation [7.747003493657217]
  現在のテキストジェネレータは、修正されたソフトマックスから、温度パラメータや、トップ$k$または核サンプリングのようなアドホックトランケーション技術を介してサンプリングする必要がある。 本稿では,最近導入されたentmax変換を用いて,スパース言語モデルのトレーニングとサンプルを行い,このミスマッチを回避する。 その結果、流布と一貫性、繰り返しの少ない、人間のテキストに近いn-gramの多様性の観点から、良好なパフォーマンスを持つテキストジェネレータが実現した。
  論文  参考訳（メタデータ） (2020-04-06T13:09:10Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。