論文の概要: Min P Sampling: Balancing Creativity and Coherence at High Temperature
- arxiv url: http://arxiv.org/abs/2407.01082v1
- Date: Mon, 1 Jul 2024 08:37:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 22:19:31.941863
- Title: Min P Sampling: Balancing Creativity and Coherence at High Temperature
- Title(参考訳): Min Pサンプリング: 創造性とコヒーレンスを高温でバランスさせる
- Authors: Minh Nguyen, Andrew Baker, Andreas Kirsch, Clement Neo,
- Abstract要約: min-$p$は、トップ候補トークンの確率に応じてスケールする動的トランケーションサンプリング手法である。
min-$p$は高温でも生成したテキストのコヒーレンスと品質を改善することを実証する。
- 参考スコア(独自算出の注目度): 2.6639520483183867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) generate longform text by successively sampling the next token based on the probability distribution of the token vocabulary at each decoding step. Current popular truncation sampling methods such as top-$p$ sampling, also known as nucleus sampling, often struggle to balance coherence and creativity in generating text, particularly when using higher temperatures. To address this issue, we propose min-$p$, a dynamic truncation sampling method, that establishes a minimum base percentage threshold for tokens, which the scales according to the probability of the top candidate token. Through experiments on several benchmarks, such as GPQA, GSM8K and AlpacaEval Creative Writing, we demonstrate that min-$p$ improves the coherence and quality of generated text even at high temperatures, while also facilitating more creative and diverse outputs compared to top-$p$ and other sampling methods. As of writing, min-$p$ has been adopted by multiple open-source LLM implementations, and have been independently assessed by members of the open-source LLM community, further validating its practical utility and potential.
- Abstract(参考訳): 大言語モデル(LLM)は、各復号ステップにおけるトークン語彙の確率分布に基づいて次のトークンを順次サンプリングすることにより、長文を生成する。
核サンプリングとしても知られ、特に高温を用いる場合、テキストの生成においてコヒーレンスと創造性のバランスをとるのに苦労する。
この問題に対処するために、トークンの最小基準パーセンテージしきい値を確立し、上位候補トークンの確率に応じてスケールする動的トランケーションサンプリング手法であるmin-$p$を提案する。
GPQA, GSM8K, AlpacaEval Creative Writingなどのベンチマーク実験を通じて, min-$p$は高温でも生成したテキストのコヒーレンスや品質を向上させるとともに, 上位$p$や他のサンプリング手法と比較して, より創造的で多様なアウトプットを促進することを実証した。
この記事執筆時点で、min-$p$ は複数のオープンソース LLM 実装で採用されており、オープンソース LLM コミュニティのメンバーによって独立して評価されており、その実用性と可能性をさらに検証している。
関連論文リスト
- REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。
核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
論文 参考訳(メタデータ) (2024-06-11T21:44:49Z) - Priority Sampling of Large Language Models for Compilers [4.2266182821287135]
プライオリティサンプリングは、モデルの信頼性によって順序付けられたユニークなサンプルを生成する、単純で決定論的サンプリング技術である。
正規表現に基づいた生成をサポートし、制御可能で構造化された探索プロセスを提供する。
これは、オリジナルのモデルのトレーニングのためにラベルの生成に使用するオートチューニングを、わずか30のサンプルで上回っている。
論文 参考訳(メタデータ) (2024-02-28T22:27:49Z) - Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。
我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
論文 参考訳(メタデータ) (2023-12-29T18:00:56Z) - A Block Metropolis-Hastings Sampler for Controllable Energy-based Text
Generation [78.81021361497311]
我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。
対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
論文 参考訳(メタデータ) (2023-12-07T18:30:15Z) - Hot or Cold? Adaptive Temperature Sampling for Code Generation with
Large Language Models [54.72004797421481]
コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。
以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。
その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-09-06T06:27:33Z) - Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum
Bayes Risk Decoding for Machine Translation [20.749494856466526]
最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。
それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
論文 参考訳(メタデータ) (2023-05-17T00:11:38Z) - Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。
本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-18T22:19:41Z) - A Well-Composed Text is Half Done! Composition Sampling for Diverse
Conditional Generation [79.98319703471596]
高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。
これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
論文 参考訳(メタデータ) (2022-03-28T21:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。