論文の概要: AdapTrack: Constrained Decoding without Distorting LLM's Output Intent

• arxiv url: http://arxiv.org/abs/2510.17376v1
• Date: Mon, 20 Oct 2025 10:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.399165
• Title: AdapTrack: Constrained Decoding without Distorting LLM's Output Intent
• Title（参考訳）: AdapTrack: LLMの出力インテントを歪ませることなく、制約付きデコード
• Authors: Yongmin Li, Jia Li, Ge Li, Zhi Jin,
• Abstract要約: 言語モデルに基づくコード生成と補完ツールは、時には必要な制約を満たさないコードを生成することがある。 制約に固執するコードを生成するために、制約付き復号法が開発された。 AdapTrackは、モデルの出力インテントを歪めるのを避けるため、制約に準拠するだけでなく、モデルの出力インテントと意味的に一致した結果を生成する。
• 参考スコア（独自算出の注目度）: 53.75852524070165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model-based code generation and completion tools have been widely adopted, but they may sometimes produce code that does not meet necessary constraints, such as syntactic correctness or API existence. Constrained decoding techniques are developed to help the model generate code adhering to the constraints by greedily eliminating generation options that violate constraints at each step of the generation process. However, there is a severe limitation of constrained decoding, that it distorts the model's output intent, forcing it to produce code that may satisfy the constraint but does not match the development intent and is therefore incorrect. In response to this challenge, we propose AdapTrack. By incorporating backtracking into the generation process, AdapTrack avoids distorting the output intent of the model, thereby producing results that are not only constraint-compliant but also more semantically aligned with model's output intent. On our synthetic API completion dataset, AdapTrack can achieve up to 360.87% improvement compared to constrained decoding; on the real-world API completion dataset we collect that exhibits similar issues, AdapTrack can achieve up to 38.93% improvement over constrained decoding; in general code genration benchmarks, compared to constrained decoding, AdapTrack can achieve up to 7.84% improvement on HumanEval, and up to 6.42% improvement on MBPP. This indicates that, simply by better adhering to the model's output intent, AdapTrack can achieve significant improvements. We provide a theoretical proof that the distribution produced by AdapTrack aligns with the model's distribution given the generated tokens, thereby ensuring that the model's output intent is not distorted. Experiments on DSL problems show that, compared to existing methods, our approach can provide generation results that are more consistent with the language model's distribution.
• Abstract（参考訳）: 言語モデルに基づくコード生成と補完ツールは広く採用されているが、構文的正確性やAPIの存在など、必要な制約を満たしていないコードを生成することもある。 生成プロセスの各ステップで制約に反する生成オプションを鮮やかに排除することで、モデルが制約に忠実なコードを生成するのに役立つように、制約付き復号技術が開発されている。 しかし、制約付きデコードには厳格な制限があり、それはモデルの出力意図を歪め、制約を満たすが開発意図と一致せず、従って正しくないコードを生成するように強制する。 この課題に対して,我々はAdapTrackを提案する。 生成プロセスにバックトラックを組み込むことで、AdapTrackはモデルの出力インテントの歪みを回避し、制約に準拠しただけでなく、モデルの出力インテントにセマンティックに適合した結果を生成する。 当社の合成API補完データセットでは、制約付きデコーディングと比較して最大360.87%の改善を達成できます。同じような問題を示す実世界のAPI補完データセットでは、AdapTrackは制約付きデコーディングよりも最大38.93%の改善を達成できます。 これは、単にモデルの出力インテントをより忠実にすることで、AdapTrackが大幅な改善を達成できることを示している。 本稿では,AdapTrackが生成した分布が生成したトークンをモデル分布と一致させることで,モデルの出力意図が歪まないことを保証する。 DSL問題に関する実験は、既存の手法と比較して、我々の手法が言語モデルの分布とより整合した生成結果を提供できることを示している。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Truth or Deceit? A Bayesian Decoding Game Enhances Consistency and Reliability [10.381674636820025]
  大規模言語モデル(LLM)は、一貫性と信頼性に欠ける出力を生成することが多い。 LLM出力生成の復号段階における一貫性と信頼性を高めるための新しいゲーム理論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-01T20:46:10Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Online Speculative Decoding [34.987825705622555]
  大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。 主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。 本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-10-11T04:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。