論文の概要: Mitigating Bias in Locally Constrained Decoding via Tractable Proposals

• arxiv url: http://arxiv.org/abs/2606.01926v1
• Date: Mon, 01 Jun 2026 08:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.634296
• Title: Mitigating Bias in Locally Constrained Decoding via Tractable Proposals
• Title（参考訳）: トラクタブルな提案による局所制約付きデコードにおけるバイアスの緩和
• Authors: Meihua Dang, Linxin Song, Honghua Zhang, Jieyu Zhao, Guy Van den Broeck, Stefano Ermon,
• Abstract要約: 既存の局所的制約付き復号法は、ミオプティックに次のトークンを隠蔽することで制約を強制する。 最近の研究では、シーケンシャルなモンテカルロ法を用いてバイアスを緩和しているが、効果的な提案分布や潜在的な関数を設計することは重要な課題である。 我々は、$p_mathrmlm( cdot mid mathrmconstraint)$からSMCサンプリングのための提案とポテンシャルを構築するための一般的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 73.78736135699953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generations from large language models often fail to conform to desired constraints such as JSON schema. Existing locally constrained decoding (LCD) approaches enforce constraints by myopically masking out next tokens, resulting in biased sampling and degradation in performance. Recent work uses sequential Monte Carlo (SMC) methods to mitigate such biases, but designing effective proposal distributions or potential functions remains a key challenge. In this work, we propose a generic approach to construct proposals and potentials for SMC sampling from $p_{\mathrm{lm}}( \cdot \mid \mathrm{constraint})$. First, we show that constraints specified as finite automata can be tensorized for efficient execution on GPUs, which we use to construct globally constrained decoding (GCD) proposals. In addition, leveraging the fact that tensorized finite automata share the same circuit structure as hidden Markov models, we circuit-multiply them to obtain the probabilistic GCD (P-GCD) proposals encoding both logical and probabilistic information about the target distributions. We evaluate (P-)GCD on the tasks of function calling, keyword-based generation, and SQL generation. Experiments show that under the same SMC sampling setup, compared to LCD proposals, (P-)GCD converges faster to the target distribution with significantly fewer particles.
• Abstract（参考訳）: 大きな言語モデルからの生成は、JSONスキーマのような望ましい制約に適合しないことが多い。 既存のローカル制約付きデコーディング(LCD)アプローチは、ミオプティックに次のトークンをマスクすることで制約を強制し、バイアスのあるサンプリングと性能の低下をもたらす。 最近の研究では、連続モンテカルロ法(SMC)を用いてバイアスを緩和しているが、効果的な提案分布やポテンシャル関数の設計は依然として重要な課題である。 本稿では、$p_{\mathrm{lm}}( \cdot \mid \mathrm{constraint})$からSMCサンプリングのための提案とポテンシャルを構築するための一般的なアプローチを提案する。 まず, 有限オートマトンとして指定された制約をGPU上での効率的な実行のためにテンソル化できることを示す。 さらに、テンソル化有限オートマトンが隠れマルコフモデルと同じ回路構造を持つという事実を利用して、ターゲット分布に関する論理的および確率的情報の両方を符号化する確率的GCD(P-GCD)の提案を得る。 関数呼び出し,キーワードベース生成,SQL生成のタスクに対して,(P-)GCDを評価した。 実験により, (P-)GCDは, 同じSMCサンプリング装置の下では, (P-)GCDはより少ない粒子で目標分布に収束することがわかった。

関連論文リスト

• The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models [49.67598869075125]
  自己回帰型言語モデリングにおいて、確率回路(PC)はTransformer-based large language model(LLM)より遅れている 構造化分解可能なPCは, 変圧器分離ランクをvtree整列パーティションに合わせることができるが, この容量は固定されたルーティング構造に整列したパーティションに限られる。 さらに、分解可能なPCは構造化された分解可能なPCよりも厳密に表現可能であることを証明していますが、効果的に最適化することはオープンな課題です。
  論文  参考訳（メタデータ） (2026-05-13T03:22:10Z)
• Probabilistic Language Tries: A Unified Framework for Compression, Decision Policies, and Execution Reuse [0.0]
  列上の任意の生成確率モデルによって暗黙的に定義されたプレフィックス構造を明示する統一表現であるLanguage Try (PLTs)を導入する。 また,任意のデータセットをカバー多数とスパース残量ストアに分解するハイブリッド圧縮アーキテクチャを導入し,Kolmogorov型プログラム表現とレート歪み理論を接続する。
  論文  参考訳（メタデータ） (2026-03-29T21:24:26Z)
• Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes [16.569049230416123]
  Top-bは、動的帯域幅係数によって候補セットを制御するデコード戦略である。 また,Top-bは競合推論精度を維持しつつ,生成エントロピーと復号間分散を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-03-15T19:39:51Z)
• SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
  推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。 アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。 textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
  論文  参考訳（メタデータ） (2026-02-08T07:26:52Z)
• Constrained Sampling for Language Models Should Be Easy: An MCMC Perspective [31.37618506317961]
  制約付き復号化により、言語モデルは、確実に厳しい制約を満たすサンプルを作成することができる。 既存の制約付きデコードアプローチは、基礎となるモデル分布を歪ませる。 我々はマルコフ・チェイン・モンテカルロに基づく新しい制約付きサンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-06T05:28:20Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors [1.8130068086063333]
  ストラグラーや他の障害は、全体の完了時間に深刻な影響を与える可能性がある。 符号化コンピューティングにおける最近の研究は、コード化されたタスクでストラグラーを緩和するための新しい戦略を提供する。 この厳密な定義は、失敗の確率を直接最適化しないことを示す。
  論文  参考訳（メタデータ） (2022-02-07T19:20:00Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。