論文の概要: $p$-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding

• arxiv url: http://arxiv.org/abs/2509.23234v2
• Date: Tue, 30 Sep 2025 21:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 12:11:26.777077
• Title: $p$-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding
• Title（参考訳）: $p$-less サンプリング: LLMデコードに対するロバストなハイパーパラメータフリーアプローチ
• Authors: Runyan Tan, Shuang Wu, Phillip Howard,
• Abstract要約: $p$-less サンプリングは、サンプリングに対する情報理論のアプローチであり、各デコードステップでトランケーション閾値を動的に設定する。 p$-lessが既存のサンプリング手法を一貫して上回りながら、より高い温度でテキスト品質の劣化がはるかに少ないことを示す。
• 参考スコア（独自算出の注目度）: 10.595336643423229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining high-quality outputs from Large Language Models (LLMs) often depends upon the choice of a sampling-based decoding strategy to probabilistically choose the next token at each generation step. While a variety of such sampling methods have been proposed, their performance can be sensitive to the selection of hyperparameters which may require different settings depending upon the generation task and temperature configuration. In this work, we introduce $p$-less sampling: an information-theoretic approach to sampling which dynamically sets a truncation threshold at each decoding step based on the entire token probability distribution. Unlike existing methods, $p$-less sampling has no hyperparameters and consistently produces high-quality outputs as temperature increases. We provide theoretical perspectives on $p$-less sampling to ground our proposed method and conduct experiments to empirically validate its effectiveness across a range of math, logical reasoning, and creative writing tasks. Our results demonstrate how $p$-less sampling consistently outperforms existing sampling approaches while exhibiting much less degradation in text quality at higher temperature values. We further show how $p$-less achieves greater inference-time efficiency than alternative methods through lower average token sampling times and shorter generation lengths, without sacrificing accuracy. Finally, we provide analyses to highlight the benefits of $p$-less through qualitative examples, case studies, and diversity assessments.
• Abstract（参考訳）: LLM(Large Language Models)から高品質な出力を得ることは、しばしば、各生成ステップで次のトークンを確率的に選択するサンプリングベースのデコード戦略の選択に依存する。 様々なサンプリング手法が提案されているが、その性能は生成タスクや温度設定に応じて異なる設定を必要とするハイパーパラメータの選択に敏感である。 そこで本研究では,トークンの確率分布全体に基づいて,各復号ステップにおける切り出し閾値を動的に設定する,情報理論によるサンプリング手法について紹介する。 既存の方法とは異なり、$p$-less サンプリングはハイパーパラメーターを持たず、温度が上昇するにつれて常に高品質な出力を生成する。 提案手法の基礎となる$p$-lessサンプリングに関する理論的視点を提供し,提案手法の有効性を様々な数学,論理的推論,創造的記述タスクで実証的に検証する実験を行う。 以上の結果から,より高温でのテキスト品質の劣化を抑えつつ,既存のサンプリング手法よりも高い性能を示した。 さらに、$p$-lessが平均トークンサンプリング時間と生成長を短くすることで、代替手法よりも推論時間効率が向上することを示す。 最後に、質的な例、事例研究、多様性評価を通じて、$p$-lessの利点を明らかにする分析を行う。

関連論文リスト

• FastMCTS: A Simple Sampling Strategy for Data Synthesis [67.60823802317141]
  我々はモンテカルロ木探索にインスパイアされた革新的なデータ合成戦略であるFastMCTSを紹介する。 FastMCTSは、ステップレベルの評価信号を提供するマルチステップ推論データに対して、より効率的なサンプリング方法を提供する。 英語と中国語の両方の推論データセットの実験では、FastMCTSが30%以上の正しい推論パスを生成することが示されている。
  論文  参考訳（メタデータ） (2025-02-17T06:27:57Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [3.631341123338476]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 本稿では,トップトークンの確率をスケーリング係数として利用して,モデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション手法であるmin-pサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
  判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。 提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。 第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。