論文の概要: Learning Tractable Distributions Of Language Model Continuations

• arxiv url: http://arxiv.org/abs/2511.16054v1
• Date: Thu, 20 Nov 2025 05:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.479153
• Title: Learning Tractable Distributions Of Language Model Continuations
• Title（参考訳）: 言語モデル継続のトラクタブルな分布の学習
• Authors: Gwen Yidou-Weng, Ian Li, Anji Liu, Oliver Broadrick, Guy Van den Broeck, Benjie Wang,
• Abstract要約: 隠れマルコフモデル (HMM) のようなトラクタブルなサロゲートは継続よりも分布を近似し、復号時間でモデルの次トーケンロジットを調整する。 そこで我々はLearning to Look Ahead (LTLA)を提案する。これはリッチプレフィックスエンコーディングのための同じベース言語モデルと、正確な継続確率を計算する固定トラクタブルサロゲートモデルとを組み合わせたハイブリッドアプローチである。
• 参考スコア（独自算出の注目度）: 40.95717348276321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlled language generation conditions text on sequence-level constraints (for example, syntax, style, or safety). These constraints may depend on future tokens, which makes directly conditioning an autoregressive language model (LM) generally intractable. Prior work uses tractable surrogates such as hidden Markov models (HMMs) to approximate the distribution over continuations and adjust the model's next-token logits at decoding time. However, we find that these surrogates are often weakly context aware, which reduces query quality. We propose Learning to Look Ahead (LTLA), a hybrid approach that pairs the same base language model for rich prefix encoding with a fixed tractable surrogate model that computes exact continuation probabilities. Two efficiency pitfalls arise when adding neural context: (i) naively rescoring the prefix with every candidate next token requires a sweep over the entire vocabulary at each step, and (ii) predicting fresh surrogate parameters for each prefix, although tractable at a single step, forces recomputation of future probabilities for every new prefix and eliminates reuse. LTLA avoids both by using a single batched HMM update to account for all next-token candidates at once, and by conditioning only the surrogate's latent state prior on the LM's hidden representations while keeping the surrogate decoder fixed, so computations can be reused across prefixes. Empirically, LTLA attains higher conditional likelihood than an unconditional HMM, approximates continuation distributions for vision-language models where a standalone HMM cannot encode visual context, and improves constraint satisfaction at comparable fluency on controlled-generation tasks, with minimal inference overhead.
• Abstract（参考訳）: 制御された言語生成条件は、シーケンスレベルの制約(例えば、構文、スタイル、安全性)をテキスト化する。 これらの制約は将来のトークンに依存する可能性があるため、一般的に自己回帰言語モデル(LM)を直接条件付けることができる。 それまでの作業では、隠れマルコフモデル(HMM)のようなトラクタブルサロゲートを使用して、継続よりも分布を近似し、復号時にモデルの次トーケンロジットを調整する。 しかし、これらのサロゲートはしばしばコンテキスト認識が弱いため、クエリの品質が低下する。 そこで我々はLearning to Look Ahead (LTLA)を提案する。これはリッチプレフィックスエンコーディングのための同じベース言語モデルと、正確な継続確率を計算する固定トラクタブルサロゲートモデルとを組み合わせたハイブリッドアプローチである。 神経コンテキストを追加する際に2つの効率の落とし穴が発生する。 i) 接頭辞を次のトークンの候補と鼻で並べ直すには,各ステップの語彙全体を網羅する必要がある。 2) 各接頭辞に対する新鮮な代理パラメータの予測は, 一つのステップで行うことができるが, 新接頭辞ごとに将来の確率の再計算を強制し, 再利用を排除している。 LTLAは、1つのバッチ化されたHMM更新を使用して、すべての次候補を一度に考慮し、Surrogateの潜伏状態のみをLMの隠された表現に条件付けし、Surrogateデコーダを固定したままにすることで、計算をプレフィックス間で再利用することができる。 実験的に、LTLAは非条件のHMMよりも条件付き可能性が高く、スタンドアロンのHMMが視覚コンテキストをエンコードできない視覚言語モデルの継続分布を近似し、最小の推論オーバーヘッドを伴って、制御された世代タスクにおける同等の流速での制約満足度を改善する。

関連論文リスト

• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• TRACE Back from the Future: A Probabilistic Reasoning Approach to Controllable Language Generation [31.762143603634836]
  大規模な言語モデルは、人間の値や望ましい属性と整合する必要がある。 既存のソリューションは、各新しい属性に対する訓練後のLM(expensive)と非フレキシブル(inflexible)のどちらかで、サンプリングやトレーニングによって将来のシーケンスの期待属性確率(EAP)を近似する。 TRACEは,EAPを効率よく計算し,トラクタブル確率論的推論と軽量制御によって新しい属性に適応する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-25T17:59:13Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。