論文の概要: Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling

• arxiv url: http://arxiv.org/abs/2504.05410v1
• Date: Mon, 07 Apr 2025 18:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:59.639585
• Title: Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling
• Title（参考訳）: 適応重み付きリジェクションサンプリングを用いた言語モデルからの高速制御生成
• Authors: Benjamin Lipkin, Benjamin LeBrun, Jacob Hoover Vigly, João Loula, David R. MacIver, Li Du, Jason Eisner, Ryan Cotterell, Vikash Mansinghka, Timothy J. O'Donnell, Alexander K. Lew, Tim Vieira,
• Abstract要約: トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 90.86991492288487
• License:
• Abstract: The dominant approach to generating from language models subject to some constraint is locally constrained decoding (LCD), incrementally sampling tokens at each time step such that the constraint is never violated. Typically, this is achieved through token masking: looping over the vocabulary and excluding non-conforming tokens. There are two important problems with this approach. (i) Evaluating the constraint on every token can be prohibitively expensive -- LM vocabularies often exceed $100,000$ tokens. (ii) LCD can distort the global distribution over strings, sampling tokens based only on local information, even if they lead down dead-end paths. This work introduces a new algorithm that addresses both these problems. First, to avoid evaluating a constraint on the full vocabulary at each step of generation, we propose an adaptive rejection sampling algorithm that typically requires orders of magnitude fewer constraint evaluations. Second, we show how this algorithm can be extended to produce low-variance, unbiased estimates of importance weights at a very small additional cost -- estimates that can be soundly used within previously proposed sequential Monte Carlo algorithms to correct for the myopic behavior of local constraint enforcement. Through extensive empirical evaluation in text-to-SQL, molecular synthesis, goal inference, pattern matching, and JSON domains, we show that our approach is superior to state-of-the-art baselines, supporting a broader class of constraints and improving both runtime and performance. Additional theoretical and empirical analyses show that our method's runtime efficiency is driven by its dynamic use of computation, scaling with the divergence between the unconstrained and constrained LM, and as a consequence, runtime improvements are greater for better models.
• Abstract（参考訳）: ある制約を受ける言語モデルから生成する主なアプローチは、局所的制約付き復号(LCD)であり、制約が決して違反されないように、各ステップでトークンを漸進的にサンプリングする。 通常、これはトークンマスキングによって達成される:語彙をループし、非コンフォーミングトークンを除外する。 このアプローチには2つの重要な問題がある。 (i)全てのトークンの制約を評価するのは違法にコストがかかる可能性がある。 (ii) LCDは、たとえデッドエンドパスを導いたとしても、文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 この研究は、これらの問題に対処する新しいアルゴリズムを導入する。 まず、生成の各ステップにおける全語彙の制約評価を避けるために、通常、より少ない制約評価を必要とする適応型拒否サンプリングアルゴリズムを提案する。 第二に、このアルゴリズムがいかにして低分散で偏りのない、非常に小さな追加コストで重み付けの重み付けを見積もることができるかを示す。 テキスト間SQL、分子合成、ゴール推論、パターンマッチング、JSONドメインにおける広範な実証的な評価を通じて、我々のアプローチは最先端のベースラインよりも優れていることを示し、より広範な制約クラスをサポートし、ランタイムとパフォーマンスの両方を改善している。 さらに理論的および実証的な分析により、我々の手法のランタイム効率は、計算の動的利用、制約のないLMと制約のないLMのばらつきによるスケーリングにより駆動され、結果として、より良いモデルに対して実行時改善がより大きいことを示す。

関連論文リスト

• Controlled LLM Decoding via Discrete Auto-regressive Biasing [9.843359827321194]
  制御されたテキスト生成は、大きな言語モデルの出力に対してユーザ定義の制約を強制することができる。 離散テキスト領域で完全に動作しながら勾配を利用する制御復号アルゴリズムである離散自己回帰バイアス法を提案する。 提案手法は,計算コストの低減を図るとともに,制約満足度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-06T00:14:43Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Retrofitting Large Language Models with Dynamic Tokenization [3.608780819053423]
  動的トークン化による現在の言語モデルの再適合を提案する。 バッチに頻繁なサブワードシーケンスをマージし、トレーニング済みの埋め込み予測ハイパーネットワークを適用して、トークンの埋め込みをオンザフライで計算する。 動的トークン化は、推論速度を大幅に向上し、言語間の公平性を促進することにより、静的トークン化の限界を軽減することができる。
  論文  参考訳（メタデータ） (2024-11-27T17:51:58Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。