論文の概要: Min-$k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics
- arxiv url: http://arxiv.org/abs/2604.11012v1
- Date: Mon, 13 Apr 2026 05:25:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.34382
- Title: Min-$k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics
- Title（参考訳）: Min-k$サンプリング:相対ロジットダイナミクスによる温度スケーリングからのトランケーションの分離
- Authors: Yuanhao Ding, Meimingwei Li, Esteban Garces Arias, Matthias Aßenmacher, Christian Heumann, Chongsheng Zhang,
- Abstract要約: 分類したロジット分布の局所的な形状を分析して「意味的崖」を識別する新しい動的トランケーション戦略を提案する。
位置重み付き相対減衰率を計算することにより、Min-$k$は各生成ステップにおけるトラクション境界を動的に決定する。
推論ベンチマーク、創造的記述タスク、人的評価の実験では、Min-$k$はテキストの品質を常に改善し、極端な温度設定下でも堅牢なパフォーマンスを維持している。
- 参考スコア（独自算出の注目度）: 4.534022278426311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quality of text generated by large language models depends critically on the decoding sampling strategy. While mainstream methods such as Top-$k$, Top-$p$, and Min-$p$ achieve a balance between diversity and accuracy through probability-space truncation, they share an inherent limitation: extreme sensitivity to the temperature parameter. Recent logit-space approaches like Top-$nσ$ achieve temperature invariance but rely on global statistics that are susceptible to long-tail noise, failing to capture fine-grained confidence structures among top candidates. We propose \textbf{Min-$k$ Sampling}, a novel dynamic truncation strategy that analyzes the local shape of the sorted logit distribution to identify "semantic cliffs": sharp transitions from high-confidence core tokens to uncertain long-tail tokens. By computing a position-weighted relative decay rate, Min-$k$ dynamically determines truncation boundaries at each generation step. We formally prove that Min-$k$ achieves strict temperature invariance and empirically demonstrate its low sensitivity to hyperparameter choices. Experiments on multiple reasoning benchmarks, creative writing tasks, and human evaluation show that Min-$k$ consistently improves text quality, maintaining robust performance even under extreme temperature settings where probability-based methods collapse. We make our code, models, and analysis tools publicly available.
- Abstract（参考訳）: 大規模言語モデルが生成するテキストの品質は、復号化サンプリング戦略に大きく依存する。
Top-k$、Top-$p$、Min-$p$といった主流の手法は、確率空間の切り離しによる多様性と精度のバランスを達成するが、それらは固有の制限(温度パラメータに対する極度な感度)を共有している。
近年のTop-$nσ$のようなロジット空間のアプローチは温度不変性を実現するが、長テールノイズの影響を受けやすい大域統計に依存しており、上位候補の微細な信頼構造を捉えることができない。
我々は,高信頼コアトークンから不確実な長テールトークンへの急激な遷移を識別するために,ソートしたロジット分布の局所的な形状を分析する新しい動的トランケーション戦略である‘textbf{Min-$k$Smpling} を提案する。
位置重み付き相対減衰率を計算することにより、Min-$k$は各生成ステップにおけるトラクション境界を動的に決定する。
我々は、Min-$k$が厳密な温度不変性を実現し、ハイパーパラメータ選択に対する感度の低いことを実証的に証明する。
複数の推論ベンチマーク、創造的記述タスク、人的評価の実験は、Min-$k$がテキストの品質を一貫して改善し、確率ベースのメソッドが崩壊する極端な温度設定下でさえ、堅牢なパフォーマンスを維持していることを示している。
コード、モデル、分析ツールを公開しています。
関連論文リスト
- Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - p-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding [10.595336643423229]
$p$-less サンプリングは、サンプリングに対する情報理論のアプローチである。
トークン確率分布全体に基づいて、各復号ステップでトラクション閾値を動的に設定する。
温度が上昇するにつれて、常に高品質な出力を生成する。
論文 参考訳（メタデータ） (2025-09-27T10:33:41Z) - Locally minimax optimal confidence sets for the best model [40.60301522036206]
この論文は基本的な推論問題に取り組む:$P$ over $mathbbRd$ が未知の平均$boldsymbolmu$ である場合、$boldsymbolmu$ の最小成分に対応する指数に対する信頼セットを形成する必要がある。
我々は$d$が$n$でスケールするか、および$boldsymbolmu$の任意の関係によらず、妥当性を維持する「次元に依存しない」テストを提案する。
論文 参考訳（メタデータ） (2025-03-27T16:06:07Z) - Top-$nσ$: Not All Logits Are You Need [25.133593066927794]
ソフトマックス前のロジットを直接操作する新しいサンプリング手法である Top-nsigma$ を導入する。
温度スケーリングにかかわらず,トップ$nsigma$は安定したサンプリング空間を維持していることを示す。
また、その振る舞いをよりよく理解するために、トップ$nsigma$の理論分析も提供する。
論文 参考訳（メタデータ） (2024-11-12T08:46:43Z) - Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [3.631341123338476]
大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。
本稿では,トップトークンの確率をスケーリング係数として利用して,モデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション手法であるmin-pサンプリングを提案する。
論文 参考訳（メタデータ） (2024-07-01T08:37:25Z) - Not All Semantics are Created Equal: Contrastive Self-supervised
Learning with Automatic Temperature Individualization [51.41175648612714]
分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。
提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。
提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
論文 参考訳（メタデータ） (2023-05-19T19:25:56Z) - Truncation Sampling as Language Model Desmoothing [115.28983143361681]
ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。
トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。
本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
論文 参考訳（メタデータ） (2022-10-27T05:52:35Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳（メタデータ） (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。