論文の概要: Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

• arxiv url: http://arxiv.org/abs/2509.02510v1
• Date: Tue, 02 Sep 2025 17:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.114586
• Title: Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
• Title（参考訳）: Top-Hデコード:テキスト生成における境界エントロピーによる創造性とコヒーレンス適応
• Authors: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram,
• Abstract要約: 本稿では,ECMM問題の解法であるTop-Hデコーディングを提案する。 The top-H is out of the State-of-the-art (SoTA) alternative of min-$p$ sample by up to **25.63%* on creative writing。 要約すると、トップHはオープンなテキスト生成においてSoTAを進歩させ、*クリエイティブな書き込みアプリケーションに統合することができる。
• 参考スコア（独自算出の注目度）: 12.183451602438753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs), despite their impressive performance across a wide range of tasks, often struggle to balance two competing objectives in open-ended text generation: fostering diversity and creativity while preserving logical coherence. Existing truncated sampling techniques, including temperature scaling, top-\$p\$ (nucleus) sampling, and min-\$p\$ sampling, aim to manage this trade-off. However, they exhibit limitations, particularly in the effective incorporation of the confidence of the model into the corresponding sampling strategy. For example, min-\$p\$ sampling relies on a single top token as a heuristic for confidence, eventually underutilizing the information of the probability distribution. Toward effective incorporation of the confidence of the model, in this paper, we present **top-H** decoding. We first establish the theoretical foundation of the interplay between creativity and coherence in truncated sampling by formulating an **entropy-constrained minimum divergence** problem. We then prove this minimization problem to be equivalent to an **entropy-constrained mass maximization** (ECMM) problem, which is NP-hard. Finally, we present top-H decoding, a computationally efficient greedy algorithm to solve the ECMM problem. Extensive empirical evaluations demonstrate that top-H outperforms the state-of-the-art (SoTA) alternative of min-\$p\$ sampling by up to **25.63%** on creative writing benchmarks, while maintaining robustness on question-answering datasets such as GPQA, GSM8K, and MT-Bench. Additionally, an *LLM-as-judge* evaluation confirms that top-H indeed produces coherent outputs even at higher temperatures, where creativity is especially critical. In summary, top-H advances SoTA in open-ended text generation and can be *easily integrated* into creative writing applications. The code is available at https://github.com/ErfanBaghaei/Top-H-Decoding.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、幅広いタスクにわたる印象的なパフォーマンスにもかかわらず、オープンエンドテキスト生成において2つの競合する目標のバランスをとるのに苦労することが多い。 既存のトランキャットサンプリング技術は、温度スケーリング、トップ-\$p\$(核)サンプリング、min-\$p\$サンプリングなどであり、このトレードオフを管理することを目的としている。 しかし、これらの手法は、特にモデルの信頼性を対応するサンプリング戦略に効果的に組み込む際に、限界を示す。 例えば、min-\$p\$ サンプリングは、信頼のためのヒューリスティックとして単一のトップトークンに依存し、最終的には確率分布に関する情報を過小評価する。 本稿では,モデルの信頼性を効果的に組み込むために,**-top-H**デコーディングを提案する。 まず,**エントロピーに制約された最小分散**問題を定式化し,クリエイティビティとコヒーレンスの間の相互作用の理論的基礎を確立する。 次に、この最小化問題を、NPハードである**エントロピー制約質量最大化**(ECMM)問題と等価であると証明する。 最後に、ECMM問題を解決するための計算効率の良いグリードアルゴリズムであるトップHデコーディングを提案する。 広範な経験的評価により、トップHは、GPQA、GSM8K、MT-Benchなどの質問応答データセットの堅牢性を維持しながら、創造的な書き込みベンチマークにおいて、min-\$p\$サンプリングの最先端(SoTA)の代替である***25.63%*よりも優れていることが示された。 さらに、*LLM-as-judge*評価では、特に創造性が重要である高温でも、トップHがコヒーレントなアウトプットを生成していることが確認されている。 要約すると、トップHはオープンなテキスト生成においてSoTAを進歩させ、クリエイティブな書き込みアプリケーションに*簡単に統合できる。 コードはhttps://github.com/ErfanBaghaei/Top-H-Decodingで公開されている。

関連論文リスト

• GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation [7.799544459641742]
  GUARDは、オープンエンドテキスト生成におけるコヒーレンスと多様性のバランスをとる自己適応復号法である。 GUARDはテキストの多様性と一貫性のバランスを良好に保ちつつ、生成速度を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-08-28T13:14:20Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference [29.49615352723995]
  Mixture-of-Experts (MoE)モデルは、入力ごとに関連する専門家の小さなサブセットだけを活性化する。 MoEモデルのエキスパートネットワークの数が多ければ多いほど、エッジデバイスにはかなりのストレージ負荷が伴う。 本稿では,元の問題を一連のサブプロブレムに分解するグリーディ分解法を提案する。
  論文  参考訳（メタデータ） (2025-07-09T05:43:43Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization [90.15027447565427]
  思考の連鎖(CoT)は、モデルの予測を導くのに役立つ自由テキストの説明を生成する。 自己一貫性(SC: Self-Consistency)は、複数の生成された説明に対する予測を疎外する。 我々は、$textbfC$hain-$textbfo$f-$textbfKe$ywords (CoKe)を提案する。
  論文  参考訳（メタデータ） (2025-03-21T13:37:46Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Top-$nσ$: Not All Logits Are You Need [25.133593066927794]
  ソフトマックス前のロジットを直接操作する新しいサンプリング手法である Top-nsigma$ を導入する。 温度スケーリングにかかわらず,トップ$nsigma$は安定したサンプリング空間を維持していることを示す。 また、その振る舞いをよりよく理解するために、トップ$nsigma$の理論分析も提供する。
  論文  参考訳（メタデータ） (2024-11-12T08:46:43Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [3.631341123338476]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 本稿では,トップトークンの確率をスケーリング係数として利用して,モデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション手法であるmin-pサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。