論文の概要: Entropy-Aligned Decoding of LMs for Better Writing and Reasoning

• arxiv url: http://arxiv.org/abs/2601.01714v1
• Date: Mon, 05 Jan 2026 01:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.723116
• Title: Entropy-Aligned Decoding of LMs for Better Writing and Reasoning
• Title（参考訳）: 筆記・推論のためのエントロピーアライメントによるLMの復号化
• Authors: Kareem Ahmed, Sameer Singh,
• Abstract要約: 言語モデル(LM)は、真の言語分布を回復するために、数十億のトークンで訓練されている。 現在、LMからのバニラランダムサンプリングは、品質の低い世代を生み出している。 本稿では,将来の軌道のエントロピーをLMデコーディングに組み込んだ超パラメータフリーデコーディング手法EPICを紹介する。
• 参考スコア（独自算出の注目度）: 21.971790771470324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) are trained on billions of tokens in an attempt to recover the true language distribution. Still, vanilla random sampling from LMs yields low quality generations. Decoding algorithms attempt to restrict the LM distribution to a set of high-probability continuations, but rely on greedy heuristics that introduce myopic distortions, yielding sentences that are homogeneous, repetitive and incoherent. In this paper, we introduce EPIC, a hyperparameter-free decoding approach that incorporates the entropy of future trajectories into LM decoding. EPIC explicitly regulates the amount of uncertainty expressed at every step of generation, aligning the sampling distribution's entropy to the aleatoric (data) uncertainty. Through Entropy-Aware Lazy Gumbel-Max sampling, EPIC manages to be exact, while also being efficient, requiring only a sublinear number of entropy evaluations per step. Unlike current baselines, EPIC yields sampling distributions that are empirically well-aligned with the entropy of the underlying data distribution. Across creative writing and summarization tasks, EPIC consistently improves LM-as-judge preference win-rates over widely used decoding strategies. These preference gains are complemented by automatic metrics, showing that EPIC produces more diverse generations and more faithful summaries. We also evaluate EPIC on mathematical reasoning, where it outperforms all baselines.
• Abstract（参考訳）: 言語モデル(LM)は、真の言語分布を回復するために、数十億のトークンで訓練されている。 それでも、LMからのバニラランダムサンプリングは、品質の低い世代を生み出す。 復号アルゴリズムは、LM分布を高確率連続体に制限しようとするが、モチーフ歪みを導入し、同質で反復的で不整合な文を産み出す、強欲なヒューリスティックに頼っている。 本稿では,将来の軌道のエントロピーをLMデコーディングに組み込んだ超パラメータフリーデコーディング手法EPICを紹介する。 EPICは、生成の各ステップで表される不確実性の量を明示的に規制し、サンプリング分布のエントロピーとアレタリック(データ)の不確実性とを一致させる。 Entropy-Aware Lazy Gumbel-Max サンプリングを通じて、EPIC は正確でありながら効率的であり、ステップごとにサブ線形のエントロピー評価しか必要としない。 現在のベースラインとは異なり、EPICは基礎となるデータ分布のエントロピーと経験的に整合したサンプリング分布を出力する。 クリエイティブな文章作成や要約作業全般において、EPICは広く使用されている復号戦略よりもLM-as-judgeの選好の勝利率を一貫して改善している。 これらの選好の利得は自動メトリクスによって補完され、EPICはより多様な世代とより忠実な要約を生成することを示す。 また、EPICを数学的推論で評価し、全てのベースラインを上回ります。

関連論文リスト

• Constrained Adaptive Rejection Sampling [27.579645342312674]
  言語モデル(LM)は、生成した出力が厳密な意味的制約や構文的制約を満たす必要があるアプリケーションでますます使われている。 既存の制約付き生成へのアプローチは、スペクトルに沿って低下する: 欲求的制約付き復号法は、復号時の有効性を強制するが、LMの分布を歪ませる。 本稿では、分布歪みを伴わないRSの試料効率を厳密に改善するアプローチである、適応型サンプリング(CARS)を提案する。
  論文  参考訳（メタデータ） (2025-10-02T11:17:26Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• The Consensus Game: Language Model Generation via Equilibrium Search [73.51411916625032]
  言語モデル復号のための学習不要なゲーム理論を新たに導入する。 本手法では,正規化不完全情報シーケンシャルシグナリングゲームとして,言語モデルの復号化を行う。 EQUILIBRium-RANKINGをLLaMA-7Bに適用すると、より大型のLLaMA-65BとPaLM-540Bより優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-13T14:27:21Z)
• KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
  検索強化言語モデル(LM)の生成品質について検討する。 検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。 検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
  論文  参考訳（メタデータ） (2023-05-24T01:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。