論文の概要: Efficient and Asymptotically Unbiased Constrained Decoding for Large Language Models

• arxiv url: http://arxiv.org/abs/2504.09135v1
• Date: Sat, 12 Apr 2025 08:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:09.693935
• Title: Efficient and Asymptotically Unbiased Constrained Decoding for Large Language Models
• Title（参考訳）: 大規模言語モデルに対する効率的・漸近的非バイアス制約付き復号法
• Authors: Haotian Ye, Himanshu Jain, Chong You, Ananda Theertha Suresh, Haowei Lin, James Zou, Felix Yu,
• Abstract要約: 本稿では,制約付き並列プリフィックス検証(PPV)のための動的重要サンプリング手法を提案する。 PPVは、動的重要度サンプリングを利用して理論的に保証された不偏性を実現し、プレフィックスツリーの非効率性を克服する新しいアルゴリズムである。 実験により,既存の手法よりも効率と出力品質が優れていることを示した。
• 参考スコア（独自算出の注目度）: 46.43567715840425
• License:
• Abstract: In real-world applications of large language models, outputs are often required to be confined: selecting items from predefined product or document sets, generating phrases that comply with safety standards, or conforming to specialized formatting styles. To control the generation, constrained decoding has been widely adopted. However, existing prefix-tree-based constrained decoding is inefficient under GPU-based model inference paradigms, and it introduces unintended biases into the output distribution. This paper introduces Dynamic Importance Sampling for Constrained Decoding (DISC) with GPU-based Parallel Prefix-Verification (PPV), a novel algorithm that leverages dynamic importance sampling to achieve theoretically guaranteed asymptotic unbiasedness and overcomes the inefficiency of prefix-tree. Extensive experiments demonstrate the superiority of our method over existing methods in both efficiency and output quality. These results highlight the potential of our methods to improve constrained generation in applications where adherence to specific constraints is essential.
• Abstract（参考訳）: 大規模言語モデルの現実的な応用においては、アウトプットは、事前に定義された製品や文書セットからアイテムを選択すること、安全基準に準拠したフレーズを生成すること、あるいは特別なフォーマットスタイルに従うことなど、制限される必要があることが多い。 生成を制御するため、制約付き復号法が広く採用されている。 しかし、既存のプレフィックスツリーベースの制約付きデコーディングはGPUベースのモデル推論パラダイムでは非効率であり、意図しないバイアスを出力分布に導入する。 本稿では,GPUを用いたParallel Prefix-Verification(PPV)を用いたDISC(Dynamic Importance Smpling for Constrained Decoding)を提案する。 大規模実験により,既存の手法よりも効率と出力品質の両面で優れていることが示された。 これらの結果は、特定の制約に固執することが不可欠であるアプリケーションにおいて、制約付き生成を改善する方法の可能性を強調している。

関連論文リスト

• Controlled LLM Decoding via Discrete Auto-regressive Biasing [9.843359827321194]
  制御されたテキスト生成は、大きな言語モデルの出力に対してユーザ定義の制約を強制することができる。 離散テキスト領域で完全に動作しながら勾配を利用する制御復号アルゴリズムである離散自己回帰バイアス法を提案する。 提案手法は,計算コストの低減を図るとともに,制約満足度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-06T00:14:43Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Direction is what you need: Improving Word Embedding Compression in Large Language Models [7.736463504706344]
  本稿では,AutoEncoderアーキテクチャを利用してトランスフォーマーモデルにトークン埋め込みを圧縮する新たな損失目標を提案する。 提案手法は,初期の言語モデルであるPerplexityにおいて,よく使われるSVDベースの行列分解手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-15T14:28:00Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。