論文の概要: $p$-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding
- arxiv url: http://arxiv.org/abs/2509.23234v2
- Date: Tue, 30 Sep 2025 21:36:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-02 12:11:26.777077
- Title: $p$-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding
- Title（参考訳）: $p$-less サンプリング: LLMデコードに対するロバストなハイパーパラメータフリーアプローチ
- Authors: Runyan Tan, Shuang Wu, Phillip Howard,
- Abstract要約: $p$-less サンプリングは、サンプリングに対する情報理論のアプローチであり、各デコードステップでトランケーション閾値を動的に設定する。
p$-lessが既存のサンプリング手法を一貫して上回りながら、より高い温度でテキスト品質の劣化がはるかに少ないことを示す。
- 参考スコア（独自算出の注目度）: 10.595336643423229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Obtaining high-quality outputs from Large Language Models (LLMs) often depends upon the choice of a sampling-based decoding strategy to probabilistically choose the next token at each generation step. While a variety of such sampling methods have been proposed, their performance can be sensitive to the selection of hyperparameters which may require different settings depending upon the generation task and temperature configuration. In this work, we introduce $p$-less sampling: an information-theoretic approach to sampling which dynamically sets a truncation threshold at each decoding step based on the entire token probability distribution. Unlike existing methods, $p$-less sampling has no hyperparameters and consistently produces high-quality outputs as temperature increases. We provide theoretical perspectives on $p$-less sampling to ground our proposed method and conduct experiments to empirically validate its effectiveness across a range of math, logical reasoning, and creative writing tasks. Our results demonstrate how $p$-less sampling consistently outperforms existing sampling approaches while exhibiting much less degradation in text quality at higher temperature values. We further show how $p$-less achieves greater inference-time efficiency than alternative methods through lower average token sampling times and shorter generation lengths, without sacrificing accuracy. Finally, we provide analyses to highlight the benefits of $p$-less through qualitative examples, case studies, and diversity assessments.
- Abstract（参考訳）: LLM(Large Language Models)から高品質な出力を得ることは、しばしば、各生成ステップで次のトークンを確率的に選択するサンプリングベースのデコード戦略の選択に依存する。
様々なサンプリング手法が提案されているが、その性能は生成タスクや温度設定に応じて異なる設定を必要とするハイパーパラメータの選択に敏感である。
そこで本研究では,トークンの確率分布全体に基づいて,各復号ステップにおける切り出し閾値を動的に設定する,情報理論によるサンプリング手法について紹介する。
既存の方法とは異なり、$p$-less サンプリングはハイパーパラメーターを持たず、温度が上昇するにつれて常に高品質な出力を生成する。
提案手法の基礎となる$p$-lessサンプリングに関する理論的視点を提供し,提案手法の有効性を様々な数学,論理的推論,創造的記述タスクで実証的に検証する実験を行う。
以上の結果から,より高温でのテキスト品質の劣化を抑えつつ,既存のサンプリング手法よりも高い性能を示した。
さらに、$p$-lessが平均トークンサンプリング時間と生成長を短くすることで、代替手法よりも推論時間効率が向上することを示す。
最後に、質的な例、事例研究、多様性評価を通じて、$p$-lessの利点を明らかにする分析を行う。
関連論文リスト
- Free Lunch for Pass@$k$? Low Cost Diverse Sampling for Diffusion Language Models [17.37935640125399]
本稿では,拡散言語モデルにおける生成多様性を高めるための,無償で低コストな介入手法を提案する。
提案手法は, 各サンプルが前回のサンプルの特徴空間から反発されるような, バッチ内の中間サンプルを逐次修正する。
リトレーニングやビームサーチを必要とする従来の方法とは異なり、我々の戦略は無視できる計算オーバーヘッドを発生させる。
論文 参考訳（メタデータ） (2026-03-05T07:35:07Z) - Control the Temperature: Selective Sampling for Diverse and High-Quality LLM Outputs [26.477037145228735]
温度に基づくサンプリングは多様性を高めるための一般的な戦略である。
しかし、例えば min-$p$ や top-$p$ のような制御されていない高温サンプリングは推論品質を低下させる。
そこで本研究では,高温サンプリングとグリーディを切り替える方法であるtextbfselective sampleを提案する。
論文 参考訳（メタデータ） (2025-09-20T15:16:27Z) - FastMCTS: A Simple Sampling Strategy for Data Synthesis [67.60823802317141]
我々はモンテカルロ木探索にインスパイアされた革新的なデータ合成戦略であるFastMCTSを紹介する。
FastMCTSは、ステップレベルの評価信号を提供するマルチステップ推論データに対して、より効率的なサンプリング方法を提供する。
英語と中国語の両方の推論データセットの実験では、FastMCTSが30%以上の正しい推論パスを生成することが示されている。
論文 参考訳（メタデータ） (2025-02-17T06:27:57Z) - Top-$nσ$: Not All Logits Are You Need [25.133593066927794]
ソフトマックス前のロジットを直接操作する新しいサンプリング手法である Top-nsigma$ を導入する。
温度スケーリングにかかわらず,トップ$nsigma$は安定したサンプリング空間を維持していることを示す。
また、その振る舞いをよりよく理解するために、トップ$nsigma$の理論分析も提供する。
論文 参考訳（メタデータ） (2024-11-12T08:46:43Z) - Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。
本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
論文 参考訳（メタデータ） (2024-08-24T14:14:32Z) - Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [3.631341123338476]
大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。
本稿では,トップトークンの確率をスケーリング係数として利用して,モデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション手法であるmin-pサンプリングを提案する。
論文 参考訳（メタデータ） (2024-07-01T08:37:25Z) - REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。
核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
論文 参考訳（メタデータ） (2024-06-11T21:44:49Z) - Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。
提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。
第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:52:41Z) - Improved Active Learning via Dependent Leverage Score Sampling [8.400581768343804]
本研究では,非依存的(逆方向雑音)環境下での能動学習手法の改善方法について述べる。
エンフェボタルサンプリングアルゴリズムに基づく簡単な実装法を提案する。
独立サンプリングと比較して,本手法は,所定の目標精度に到達するために必要なサンプル数を最大50%削減する。
論文 参考訳（メタデータ） (2023-10-08T01:51:30Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。