論文の概要: AdapTrack: Constrained Decoding without Distorting LLM's Output Intent

• arxiv url: http://arxiv.org/abs/2510.17376v1
• Date: Mon, 20 Oct 2025 10:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.399165
• Title: AdapTrack: Constrained Decoding without Distorting LLM's Output Intent
• Title（参考訳）: AdapTrack: LLMの出力インテントを歪ませることなく、制約付きデコード
• Abstract要約: 言語モデルに基づくコード生成と補完ツールは、時には必要な制約を満たさないコードを生成することがある。 制約に固執するコードを生成するために、制約付き復号法が開発された。 AdapTrackは、モデルの出力インテントを歪めるのを避けるため、制約に準拠するだけでなく、モデルの出力インテントと意味的に一致した結果を生成する。
• 参考スコア（独自算出の注目度）: 53.75852524070165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model-based code generation and completion tools have been widely adopted, but they may sometimes produce code that does not meet necessary constraints, such as syntactic correctness or API existence. Constrained decoding techniques are developed to help the model generate code adhering to the constraints by greedily eliminating generation options that violate constraints at each step of the generation process. However, there is a severe limitation of constrained decoding, that it distorts the model's output intent, forcing it to produce code that may satisfy the constraint but does not match the development intent and is therefore incorrect. In response to this challenge, we propose AdapTrack. By incorporating backtracking into the generation process, AdapTrack avoids distorting the output intent of the model, thereby producing results that are not only constraint-compliant but also more semantically aligned with model's output intent. On our synthetic API completion dataset, AdapTrack can achieve up to 360.87% improvement compared to constrained decoding; on the real-world API completion dataset we collect that exhibits similar issues, AdapTrack can achieve up to 38.93% improvement over constrained decoding; in general code genration benchmarks, compared to constrained decoding, AdapTrack can achieve up to 7.84% improvement on HumanEval, and up to 6.42% improvement on MBPP. This indicates that, simply by better adhering to the model's output intent, AdapTrack can achieve significant improvements. We provide a theoretical proof that the distribution produced by AdapTrack aligns with the model's distribution given the generated tokens, thereby ensuring that the model's output intent is not distorted. Experiments on DSL problems show that, compared to existing methods, our approach can provide generation results that are more consistent with the language model's distribution.
• Abstract（参考訳）: 言語モデルに基づくコード生成と補完ツールは広く採用されているが、構文的正確性やAPIの存在など、必要な制約を満たしていないコードを生成することもある。 生成プロセスの各ステップで制約に反する生成オプションを鮮やかに排除することで、モデルが制約に忠実なコードを生成するのに役立つように、制約付き復号技術が開発されている。 しかし、制約付きデコードには厳格な制限があり、それはモデルの出力意図を歪め、制約を満たすが開発意図と一致せず、従って正しくないコードを生成するように強制する。 この課題に対して,我々はAdapTrackを提案する。 生成プロセスにバックトラックを組み込むことで、AdapTrackはモデルの出力インテントの歪みを回避し、制約に準拠しただけでなく、モデルの出力インテントにセマンティックに適合した結果を生成する。 当社の合成API補完データセットでは、制約付きデコーディングと比較して最大360.87%の改善を達成できます。同じような問題を示す実世界のAPI補完データセットでは、AdapTrackは制約付きデコーディングよりも最大38.93%の改善を達成できます。 これは、単にモデルの出力インテントをより忠実にすることで、AdapTrackが大幅な改善を達成できることを示している。 本稿では,AdapTrackが生成した分布が生成したトークンをモデル分布と一致させることで,モデルの出力意図が歪まないことを保証する。 DSL問題に関する実験は、既存の手法と比較して、我々の手法が言語モデルの分布とより整合した生成結果を提供できることを示している。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Encoder-Decoder Manifold Alignment for Idempotent Generation [51.959208893243776]
  この失敗の主な理由は、エンコーダとデコーダによって学習された多様体間の幾何学的ミスマッチである。 我々は、エンコーダとデコーダに同じ基礎となるデータ多様体の一貫性のある表現を学習させ、このギャップを明示的に埋める新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-21T02:14:37Z)
• EPIC: Efficient and Parallel Inference under CFG Constraints for Diffusion Language Models [9.328325284438595]
  現在の手法は、制約のない復号化よりも最大4倍遅い。 本稿では,この制限に対処する効率的なCFG制約付きデコーディングフレームワークEPICを提案する。 本手法は,レキシングメモ化,決定論的オートマトンの代わりにEareyスタイルの構文解析による検証,並列コミットのための互換性のあるサブセット選択を緩和することにより,デコード効率を向上させる。
  論文  参考訳（メタデータ） (2026-05-30T13:20:03Z)
• DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification [29.426184837710952]
  投機的復号化は,複数のトークンを並列に起草することで,大規模言語モデルの推論を高速化する有効な手法である。 生成品質を保ちながら時間効率を向上させる緩やかな検証フレームワークである動的検証緩和投機復号法(DIVERSED)を提案する。 本研究では,DIVERSEDが標準的な投機的復号法に比べてかなり高い推論効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:52:32Z)
• Continuous Diffusion Models Can Obey Formal Syntax [37.090659119764176]
  拡散言語モデルは、グローバルで非因果的プロセスのため、自己回帰モデルに代わる有望な代替手段を提供する。 本稿では,正規表現を用いて表現される形式的構文制約を満たすために,連続言語モデルをステアリングするための学習自由な手法を提案する。 提案手法は,潜在状態が与えられた正規表現で受け入れられる有効な文字列に復号される確率を推定する分析スコアを構築する。
  論文  参考訳（メタデータ） (2026-02-12T22:55:05Z)
• Draft-Conditioned Constrained Decoding for Structured Generation in LLMs [11.309525632171217]
  制約デコーディングは、モデルが有効な継続に低確率質量を割り当てたときに生成を歪めることができる。 本稿では,構造的強制からセマンティックプランニングを分離する訓練自由推論手法であるemphDraft-Conditioned Constrained Decoding (DCCD)を提案する。 我々は,KLプロジェクションビューを用いてDCCDを解析し,ドラフト条件が実現可能な質量を増大させ,ハード制約による累積的な「投射税」を減少させることを示した。
  論文  参考訳（メタデータ） (2026-02-08T03:52:24Z)
• IntentCoding: Amplifying User Intent in Code Generation [66.86062682889101]
  大規模言語モデル(LLM)は、コード生成において強力な能力を示しているが、複数の制約を伴うきめ細かいユーザ意図への固執は、依然として大きな課題である。 Intent-Amplified Code Generation (IntentCoding, IntentCoding)を提案する。 IntentCodingは、インテントをマスキングしてユーザインテントの影響を捉え、生成時のユーザインテントの効果を増幅するために、多強度アンサンブル機構を適用する。
  論文  参考訳（メタデータ） (2026-01-20T13:34:16Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Truth or Deceit? A Bayesian Decoding Game Enhances Consistency and Reliability [10.381674636820025]
  大規模言語モデル(LLM)は、一貫性と信頼性に欠ける出力を生成することが多い。 LLM出力生成の復号段階における一貫性と信頼性を高めるための新しいゲーム理論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-01T20:46:10Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Online Speculative Decoding [34.987825705622555]
  大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。 主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。 本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-10-11T04:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。