論文の概要: Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding

• arxiv url: http://arxiv.org/abs/2606.22511v1
• Date: Sun, 21 Jun 2026 14:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:51:57.242049
• Title: Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding
• Title（参考訳）: 言語モデルデコードのための可変キャリブレーション
• Authors: Yuanhao Ding, Meimingwei Li, Esteban Garces Arias, Matthias Aßenmacher, Christian Heumann, Chongsheng Zhang,
• Abstract要約: VCM(Variance-Calibrated Modulation)は、訓練なしの事前復号処理であり、脱落前の確率分布を再評価する。 オープンエンド生成、実数QA、数学的推論を通じて、VCMは、常に可能性トラップを緩和する。
• 参考スコア（独自算出の注目度）: 4.534022278426311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In open-ended generation, LLMs frequently fall into the "likelihood trap", marked by repetitive degeneration and vocabulary dullness, creating a discrepancy between machine-generated and human-written text. While post-hoc tail truncation (e.g., Top-$p$, Min-$p$) avoids sampling from the unreliable tail, it can over-sample from the uncalibrated head and misalign generation with human lexical preferences; fixed scalar repetition penalties likewise ignore variation in logit scale across inference steps, potentially disrupting semantic coherence. To address both limitations, we propose Variance-Calibrated Modulation (VCM), a training-free pre-decoding intervention that reshapes the probability distribution before truncation through two dynamic mechanisms: (1) Contextual Searchlight via PMI, which suppresses global stopwords while elevating context-evoked tokens, and (2) Adaptive Self-Debiasing, which uses real-time logit standard deviation for scale-invariant penalization. Across open-ended generation, factual QA, and mathematical reasoning, VCM consistently mitigates the likelihood trap. With negligible computational overhead, VCM integrates with existing decoding strategies, improving diversity, coherence, and, particularly at higher decoding temperatures, reasoning accuracy.
• Abstract（参考訳）: オープンエンド世代では、LLMは繰り返しの縮退と語彙の重複が特徴の「いいね!」トラップに陥り、機械生成テキストと人文テキストの相違が生じる。 ポストホック尾行(例えば、Top-$p$、Min-$p$)は、信頼できない尾からのサンプリングを避けるが、人間の語彙的嗜好によって、非校正された頭と誤った世代から過剰にサンプリングできる。 両制約に対処するため,(1)大域的停止語を抑えるPMIによるコンテキスト検索ライト,(2)実時間ロジット標準偏差を利用した適応型自己退化,の2つの動的メカニズムを用いて,切り離し前の確率分布を再現する訓練自由な事前復号化手法であるVCMを提案する。 オープンエンド生成、実数QA、数学的推論を通じて、VCMは、常に可能性トラップを緩和する。 無視可能な計算オーバーヘッドでは、VCMは既存の復号化戦略と統合され、多様性、コヒーレンス、特に高い復号化温度において精度が向上する。

関連論文リスト

• Reconstruction of detector error model for quantum error correction [6.505803823301456]
  本稿では,実験症候群統計を直接離散的物理ハイパーグラフに変換するための一貫した枠組みを提案する。 本研究では, 高次から低次まで, 絶対的な統計的分散が線形に蓄積されるような, 密度コードにおける正確な連続パラメータ抽出が, テキスト分散カスケードによって制限されていることを示す。 これは、現実的な量子ハードウェアにおいて、非常に相関性の高いノイズを特徴付け、デコードするための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-06-15T06:51:48Z)
• Relaxation-Informed Training of Neural Network Surrogate Models [3.9722979176564763]
  ReLUニューラルネットワーク訓練サロゲートモデルは、MILP(mixed-integer linear program)に正確に埋め込まれる。 結果として得られるMILPのトラクタビリティは、ネットワークの構造的特性に依存する。 提案した正規化器は, 最大4桁のMILP時間を非正規化ベースラインに短縮できることを示す。
  論文  参考訳（メタデータ） (2026-04-24T17:46:55Z)
• Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
  デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。 グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。 本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-10T23:08:26Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown [2.5628953713168685]
  我々は,高度に表現力のあるニューラルネットワークを用いた外乱予測モデリングの課題に取り組む。 提案手法は,(1)変換トリミング損失(TTL)と(2)高次変動正規化(HOVR)の2つの重要な要素を統合し,予測関数に滑らかさの制約を課す。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。