論文の概要: Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance

• arxiv url: http://arxiv.org/abs/2610.35328v1
• Date: Mon, 26 Oct 2026 12:26:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.919985
• Title: Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
• Title（参考訳）: 制約付きデコーディング: 有害か便益か? LLMパフォーマンスへの影響を再考
• Abstract要約: 適切な制約は、無効なパスを排除してパフォーマンスを維持または改善できることを示す。 4つのモデルファミリと11のオープンソースモデルにまたがって、最先端の制約付きデコード戦略を使用して、さまざまなベンチマークを因果的に改善する。 これらの結果から,制約付き復号化の影響は制約の種類や除去する出力空間に依存することが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.4174475093445238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained decoding guarantees that Large Language Models (LLMs) produce outputs conforming to predefined formats, but is often assumed to inherently degrade reasoning. We examine this assumption through a taxonomy of three constraint types: \emph{format constraints}, which enforce output structure; \emph{validity constraints}, which mask invalid answer; and \emph{reasoning constraints}, which restrict reasoning trajectories. We theoretically show that appropriate constraints can preserve or improve performance by eliminating invalid paths. Across four model families and eleven open-source models, causal ablations on diverse benchmarks using state-of-the-art constrained decoding strategies reveal that apparent performance degradation largely stems from non-equivalent prompting and output formats rather than from decoder-level masking. Meanwhile, validity constraints improve reliability and extractability by eliminating invalid answers, while reasoning constraints can improve reasoning and, consequently, accuracy when they enforce beneficial trajectories. These findings show that the impact of constrained decoding depends on the type of constraint and the output space it removes. Our code is available.
• Abstract（参考訳）: 制約付き復号法は、Large Language Models (LLM) が事前定義されたフォーマットに従って出力を生成することを保証している。 この仮定は、出力構造を強制する \emph{format constraints} と、無効解を隠蔽する \emph{validity constraints} と、軌道の推論を制限する \emph{reasoning constraints} という3つの制約型の分類によって検証される。 理論的には、無効な経路を排除して、適切な制約が性能を維持または改善できることを示す。 4つのモデルファミリと11つのオープンソースモデルにまたがって、最先端の制約付きデコード戦略を用いた多様なベンチマークの因果的改善により、明らかにパフォーマンス劣化はデコーダレベルのマスキングからではなく、非等価なプロンプトおよび出力フォーマットに起因することが判明した。 一方、妥当性制約は、無効な回答を排除して信頼性と抽出性を向上する一方、推論制約は推論を改善し、その結果、有効な軌道を強制する場合の精度を向上させることができる。 これらの結果から,制約付き復号化の影響は制約の種類や除去する出力空間に依存することが明らかとなった。 私たちのコードは利用可能です。

関連論文リスト

• Rewrite Once, Validate Anywhere: Producing OWL-Aware SHACL Constraints (Extended Version) [0.0]
  Shapes Constraint Language (SHACL)は、RDFグラフの構文制約を表現するためのW3C勧告である。 OWL の公理を SHACL 制約に内包し、形状と OWL EL$-$ 制約の両方を入力として書き直しを構築する。 この出力は、推論サポートに関係なく、SHACLコアをサポートするバリデータによって評価することができる。
  論文  参考訳（メタデータ） (2026-08-14T09:06:10Z)
• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
  大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。 textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。 実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-07-31T09:30:33Z)
• EPIC: Efficient and Parallel Inference under CFG Constraints for Diffusion Language Models [9.328325284438595]
  現在の手法は、制約のない復号化よりも最大4倍遅い。 本稿では,この制限に対処する効率的なCFG制約付きデコーディングフレームワークEPICを提案する。 本手法は,レキシングメモ化,決定論的オートマトンの代わりにEareyスタイルの構文解析による検証,並列コミットのための互換性のあるサブセット選択を緩和することにより,デコード効率を向上させる。
  論文  参考訳（メタデータ） (2026-05-30T13:20:03Z)
• NCO: A Versatile Plug-in for Handling Negative Constraints in Decoding [9.328325284438595]
  誇張やPIIのような望ましくないコンテンツの発生を防ぐための大規模言語モデル (LLM) がますます重要になっている。 我々は,有限な制約や制約に対してオンラインパターンマッチングを行うデコード戦略であるNCOを提案する。 我々は,PIIや抑制を含む実践的な課題において,その効果を実証的に実証した。
  論文  参考訳（メタデータ） (2026-05-11T06:43:42Z)
• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Draft-Conditioned Constrained Decoding for Structured Generation in LLMs [11.309525632171217]
  制約デコーディングは、モデルが有効な継続に低確率質量を割り当てたときに生成を歪めることができる。 本稿では,構造的強制からセマンティックプランニングを分離する訓練自由推論手法であるemphDraft-Conditioned Constrained Decoding (DCCD)を提案する。 我々は,KLプロジェクションビューを用いてDCCDを解析し,ドラフト条件が実現可能な質量を増大させ,ハード制約による累積的な「投射税」を減少させることを示した。
  論文  参考訳（メタデータ） (2026-02-08T03:52:24Z)
• Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
  SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。 SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:58:07Z)
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
  本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。 各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。 より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
  論文  参考訳（メタデータ） (2024-08-05T13:08:24Z)
• Guiding LLMs The Right Way: Fast, Non-Invasive Constrained Generation [7.687678490751105]
  我々は、プリ計算と投機的復号化を利用して、ほとんどオーバーヘッドが無く、場合によっては、制約のない復号化よりも約2$times$のスピードアップを達成できる新しい復号アルゴリズムDOMINOを提案する。
  論文  参考訳（メタデータ） (2024-02-07T13:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。