論文の概要: ABS: Enforcing Constraint Satisfaction On Generated Sequences Via Automata-Guided Beam Search
- arxiv url: http://arxiv.org/abs/2506.09701v2
- Date: Tue, 04 Nov 2025 13:52:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:26.332128
- Title: ABS: Enforcing Constraint Satisfaction On Generated Sequences Via Automata-Guided Beam Search
- Title（参考訳）: ABS: オートマタ誘導ビームサーチによる生成配列の制約満足度向上
- Authors: Vincenzo Collura, Karim Tit, Laura Bussi, Eleonora Giunchiglia, Maxime Cordy,
- Abstract要約: ABSはモデルに依存しない推論時間アルゴリズムであり、いかなる制約にも準拠することを保証している。
ABSは、標準的な品質指標と効率性に基づいて、最先端のベースラインを達成または適合させながら、完全な制約満足度を実現していることを示す。
- 参考スコア（独自算出の注目度）: 13.847804420304113
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Sequence generation and prediction form a cornerstone of modern machine learning, with applications spanning natural language processing, program synthesis, and time-series forecasting. These tasks are typically modeled in an autoregressive fashion, where each token is generated conditional on the preceding ones, and beam search is commonly used to balance exploration and fluency during decoding. While deep learning models and Large Language Models (LLMs) excel at capturing statistical patterns in this setting, they remain ill-equipped to guarantee compliance with formal constraints. In this paper, we introduce ABS: a general and model-agnostic inference-time algorithm that guarantees compliance with any constraint that can be compiled into a Deterministic Finite Automaton (DFA), without requiring retraining. ABS leverages the DFA to guide a constrained variant of beam search: at each decoding step, transitions leading to violations are masked, while remaining paths are dynamically re-ranked according to both the model's probabilities and the automaton's acceptance structure. We formally prove that the resulting sequences are guaranteed to satisfy the given constraints, and we empirically demonstrate that ABS also improves output quality. We validate our approach on three distinct tasks: constrained image-stream classification, controlled text generation, and text infilling. In all settings, ABS achieves perfect constraint satisfaction, while outperforming or matching state-of-the-art baselines on standard quality metrics and efficiency.
- Abstract（参考訳）: シーケンス生成と予測は、自然言語処理、プログラム合成、時系列予測など、現代の機械学習の基盤となっている。
これらのタスクは一般的に自己回帰的な方法でモデル化され、各トークンは前者のトークンに対して条件付きで生成され、ビームサーチは復号時の探索と流速のバランスをとるために一般的に使用される。
ディープラーニングモデルとLLM(Large Language Models)は、この設定で統計パターンを捉えるのに優れていますが、形式的な制約の遵守を保証するには不適当です。
本稿では,DFA(Deterministic Finite Automaton)にコンパイル可能な制約の遵守を保証する汎用的およびモデルに依存しない推論時アルゴリズムであるABSを紹介する。
ABSはDFAを利用してビームサーチの制約付き変種を誘導する:各デコードステップでは、違反につながる遷移がマスクされ、残りの経路はモデルの確率とオートマトンの受け入れ構造の両方に応じて動的に再ランクされる。
結果の列が与えられた制約を満たすことが保証されることを正式に証明し、ABSが出力品質を向上させることを実証的に実証する。
我々は,制約付き画像ストリーム分類,制御されたテキスト生成,テキスト入力という3つの異なるタスクに対するアプローチを検証する。
あらゆる設定において、ABSは完全な制約満足度を達成し、標準品質のメトリクスと効率に基づいて、最先端のベースラインを達成または適合させます。
関連論文リスト
- Quality-Aware Language-Conditioned Local Auto-Regressive Anomaly Synthesis and Detection [30.77558600436759]
ARAS(ARAS)は、言語条件付き自動回帰異常合成手法である。
トークンアンコールによる遅延編集によって、ローカルでテキスト指定の欠陥を通常の画像に注入する。
欠陥リアリズムを著しく強化し、きめ細かい材料テクスチャを保存し、合成された異常に対して連続的な意味制御を提供する。
論文 参考訳（メタデータ） (2025-08-05T15:07:32Z) - Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。
DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。
DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
論文 参考訳（メタデータ） (2025-08-01T17:56:07Z) - Token Constraint Decoding Improves Robustness on Question Answering for Large Language Models [4.078176555898098]
我々は,Token Constraint Decoding (TCD)を導入し,評価する。
この単純で効果的な推論時間アルゴリズムは、ノイズのある設定で堅牢性を高めるためにトークンレベルの予測をアライメントする。
本研究は, 実世界の不完全条件下での推論安定性向上のための, 実用的, モデルに依存しないアプローチとして, TCDを確立した。
論文 参考訳（メタデータ） (2025-06-11T05:33:56Z) - Solving Inverse Problems with FLAIR [59.02385492199431]
フローベースの潜在生成モデルは、驚くべき品質の画像を生成でき、テキスト・ツー・イメージ生成も可能である。
本稿では,フローベース生成モデルを逆問題の前兆として活用する新しい学習自由変分フレームワークFLAIRを提案する。
標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T09:29:47Z) - TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models [14.411646409316624]
時系列予測の新しい手法である textbfHierarchical textbfText-textbfFree textbfAlignment (textbfTS-HTFA) を導入する。
我々は、QR分解語埋め込みと学習可能なプロンプトに基づいて、ペア化されたテキストデータを適応的な仮想テキストに置き換える。
複数の時系列ベンチマークの実験は、HTFAが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2024-09-23T12:57:24Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - Structure-Aware Path Inference for Neural Finite State Transducers [22.385573671312475]
ニューラル有限状態トランスデューサ (Neural finite-state Transducer, NFST) は、ニューロシンボリック・シークエンス・モデル(英語版)の表現的なファミリーを形成する。
与えられた入力文字列と出力文字列のペアを説明する潜在アライメントパスを命令する結果として生じる課題に焦点をあてる。
論文 参考訳（メタデータ） (2023-12-21T07:03:15Z) - ConSequence: Synthesizing Logically Constrained Sequences for Electronic
Health Record Generation [37.72570170375048]
本稿では、ドメイン知識を逐次生成ニューラルネットワーク出力に統合するための効果的なアプローチであるConSequenceを提案する。
本研究では,コンシークエンスの電子健康記録作成における効果を実証し,コンシークエンスの時間的・空間的制約満足度を総合的に評価した。
論文 参考訳（メタデータ） (2023-12-10T18:43:37Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。