論文の概要: Truncation Sampling as Language Model Desmoothing
- arxiv url: http://arxiv.org/abs/2210.15191v1
- Date: Thu, 27 Oct 2022 05:52:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 13:53:48.147892
- Title: Truncation Sampling as Language Model Desmoothing
- Title（参考訳）: 言語モデルとしてのトランケーションサンプリング
- Authors: John Hewitt, Christopher D. Manning, Percy Liang
- Abstract要約: ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。
トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。
本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
- 参考スコア（独自算出の注目度）: 115.28983143361681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long samples of text from neural language models can be of poor quality.
Truncation sampling algorithms--like top-$p$ or top-$k$ -- address this by
setting some words' probabilities to zero at each step. This work provides
framing for the aim of truncation, and an improved algorithm for that aim. We
propose thinking of a neural language model as a mixture of a true distribution
and a smoothing distribution that avoids infinite perplexity. In this light,
truncation algorithms aim to perform desmoothing, estimating a subset of the
support of the true distribution. Finding a good subset is crucial: we show
that top-$p$ unnecessarily truncates high-probability words, for example
causing it to truncate all words but Trump for a document that starts with
Donald. We introduce $\eta$-sampling, which truncates words below an
entropy-dependent probability threshold. Compared to previous algorithms,
$\eta$-sampling generates more plausible long English documents according to
humans, is better at breaking out of repetition, and behaves more reasonably on
a battery of test distributions.
- Abstract（参考訳）: ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。
切断サンプリングアルゴリズム--top-$p$またはtop-$k$ -- 各ステップで単語の確率をゼロにすることでこれに対処する。
この研究は、切り離しを目的としたフレーミングと、その目的のための改良されたアルゴリズムを提供する。
本稿では,真の分布と無限のパープレキシティを回避できる平滑化分布の混合として,ニューラルネットワークモデルを考える。
この光の中で、トランケーションアルゴリズムは、真の分布の支持の部分集合を推定し、デムースを行う。
優れたサブセットを見つけることが不可欠である。トップ$p$は、高確率な単語を不要に切り捨てる、例えば、ドナルドから始まる文書のために、トランプ以外のすべての単語を切り捨てる、など。
エントロピーに依存した確率閾値以下で単語を切り詰める$\eta$-samplingを導入する。
以前のアルゴリズムと比較すると、$\eta$-samplingは人間によってより可塑性の長い英文文書を生成し、繰り返しを壊すのに優れ、テスト分布のバッテリーでより合理的に振る舞う。
関連論文リスト
- SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。
提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2023-10-23T17:47:34Z) - Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
トラニケートサンプリングの有効性を理論的に説明する。
モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。
提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-02T23:16:25Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳（メタデータ） (2023-05-04T08:11:57Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Improving Diversity of Neural Text Generation via Inverse Probability
Weighting [43.36560720793425]
逆確率重み付けにインスパイアされたサンプリング手法を提案する。
繰り返しループに繋がる確率の高い,退屈な,あるいは反復的な候補も含んでいる可能性がある。
結果から,本アルゴリズムは,人文に近づきながら,生成したサンプルの多様性を効果的に向上させることができることがわかった。
論文 参考訳（メタデータ） (2021-03-13T08:17:40Z) - A Randomized Algorithm to Reduce the Support of Discrete Measures [79.55586575988292]
離散確率測度が$N$原子と$n$実数値関数の集合で成り立つと、元の$N$原子の$n+1$の部分集合で支えられる確率測度が存在する。
我々は、負の円錐によるバリセンターの簡単な幾何学的特徴付けを与え、この新しい測度を「グリード幾何学的サンプリング」によって計算するランダム化アルゴリズムを導出する。
次に、その性質を研究し、それを合成および実世界のデータにベンチマークして、$Ngg n$ regimeにおいて非常に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-02T16:38:36Z) - A New Minimax Theorem for Randomized Algorithms [1.2284934135116514]
新しいタイプのミニマックス定理を導入し、全てのバイアスレベルに一度に作用するハード分布の$mu$を提供する。
ランダム化クエリの複雑性,ランダム化通信の複雑性,近似度数,近似対数に対して有効であることを示す。
また、Impagliazzoのハードコアの改良版も証明した。
論文 参考訳（メタデータ） (2020-02-25T11:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。