論文の概要: NCO: A Versatile Plug-in for Handling Negative Constraints in Decoding

• arxiv url: http://arxiv.org/abs/2605.10065v1
• Date: Mon, 11 May 2026 06:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.580533
• Title: NCO: A Versatile Plug-in for Handling Negative Constraints in Decoding
• Title（参考訳）: NCO: 負の制約をデコードで処理するためのVersatileプラグイン
• Authors: Hyundong Jin, Yo-Sub Han,
• Abstract要約: 誇張やPIIのような望ましくないコンテンツの発生を防ぐための大規模言語モデル (LLM) がますます重要になっている。 我々は,有限な制約や制約に対してオンラインパターンマッチングを行うデコード戦略であるNCOを提案する。 我々は,PIIや抑制を含む実践的な課題において,その効果を実証的に実証した。
• 参考スコア（独自算出の注目度）: 9.328325284438595
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Controlling Large Language Models (LLMs) to prevent the generation of undesirable content, such as profanity and personally identifiable information (PII), has become increasingly critical. While earlier approaches relied on post-processing or resampling, recent research has shifted towards constrained decoding methods that control outputs during generation to mitigate high computational costs and quality degradation. However, preventing multiple forbidden hard constraints or regex constraints from appearing anywhere in the output is computationally challenging. A straightforward solution is to convert these constraints into a single automaton that tracks all forbidden patterns during decoding, but this often becomes impractically large. Standard regex engines also do not readily support the operations needed to build such a constraint, such as complement and intersection. In order to address these limitations, we propose NCO, a decoding strategy that performs online pattern matching over finite hard constraints and regex constraints, reducing computational overhead without inducing state explosion. NCO is fully compatible with standard inference strategies, including various sampling methods and beam search, while also supporting soft masking for probabilistic suppression. We empirically demonstrate its effectiveness across practical tasks, including PII and profanity suppression. Our implementation is available at https://github.com/hyundong98/NCO-Decoding.git .
• Abstract（参考訳）: 重大言語モデル(LLM)を制御して、不敬や個人識別情報(PII)などの望ましくないコンテンツの発生を防ぐことがますます重要になっている。 以前のアプローチは後処理や再サンプリングに頼っていたが、最近の研究は、高い計算コストと品質劣化を軽減するために生成時の出力を制御する制約付き復号法に移行している。 しかし、複数の禁止されたハード制約やリジェックス制約が出力のどこにも現れるのを防ぐことは、計算的に困難である。 簡単な解決策は、これらの制約を1つのオートマトンに変換し、デコード中に禁止されたすべてのパターンを追跡することである。 標準のregexエンジンは、補完や交差といった制約を構築するのに必要な操作を、容易にはサポートしない。 これらの制約に対処するために,有限な制約とRegex制約を網羅してオンラインパターンマッチングを行うデコード戦略であるNCOを提案し,状態爆発を誘発することなく計算オーバーヘッドを低減した。 NCOは、様々なサンプリング方法やビームサーチを含む標準的な推論戦略と完全に互換性があり、確率的抑制のためのソフトマスクもサポートしている。 本研究は, PII やプロファンニティ抑制など, 実践的な課題にまたがる効果を実証的に示す。 私たちの実装はhttps://github.com/hyundong98/NCO-Decoding.gitで公開されています。

関連論文リスト

• Compact Constraint Encoding for LLM Code Generation: An Empirical Study of Token Economics and Constraint Compliance [0.0]
  本研究では,コンパクトで構造化された制約ヘッダーが制約コンプライアンスを低下させることなく,トークンの迅速な消費を低減できるかどうかを検討する。 コンパクトヘッダーは、3ラウンドで複製された制約ポートトークンを約71%減らし、フルプロンプトトークンを25～30%減らした。
  論文  参考訳（メタデータ） (2026-04-08T15:18:33Z)
• Near-Optimal Sample Complexity for Online Constrained MDPs [10.479589616736193]
  CMDP(Constrained Markov Decision Processs)は、性能を最適化しながら安全性の制約を強制するために一般的に用いられる。 既存の手法は、しばしば重大な安全違反に悩まされるか、あるいは準最適ポリシーを生成するために高いサンプルの複雑さを必要とする。 本稿では,後悔と制約違反のバランスをとるモデルベース原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-16T05:16:13Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Limitations of the decoding-to-LPN reduction via code smoothing [59.90381090395222]
  研究者は、ノイズ問題を伴う学習パリティのアルゴリズム的難しさを実証しようと試みている。 復号化問題とプリミティブ問題のパラメータの観点から,削減の効率を特徴付ける。
  論文  参考訳（メタデータ） (2024-08-07T12:54:43Z)
• Guiding LLMs The Right Way: Fast, Non-Invasive Constrained Generation [7.687678490751105]
  我々は、プリ計算と投機的復号化を利用して、ほとんどオーバーヘッドが無く、場合によっては、制約のない復号化よりも約2$times$のスピードアップを達成できる新しい復号アルゴリズムDOMINOを提案する。
  論文  参考訳（メタデータ） (2024-02-07T13:36:02Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。