論文の概要: Metamodel-Guided LLM Decoding for Consistent DSL Generation

• arxiv url: http://arxiv.org/abs/2610.29749v1
• Date: Wed, 21 Oct 2026 13:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.376053
• Title: Metamodel-Guided LLM Decoding for Consistent DSL Generation
• Title（参考訳）: メタモデル誘導型LLMデコーディングによる一貫したDSL生成
• Abstract要約: 私たちは、DSLの具体的な構文、抽象構文、そして良質な制約を共同で強制するデコーディングフレームワークであるMeMoDecodeを紹介します。 MeMoDecodeは、非制約の復号化よりも平均23%、文法制約の復号化よりも平均8%の整合性を達成している。
• 参考スコア（独自算出の注目度）: 7.143305283235514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to generate software engineering artifacts written in domain-specific languages (DSLs). Correct DSL instances usually must comply with not only the concrete syntax but also the abstract syntax defined by a metamodel augmented with semantic well-formedness constraints. Existing constrained decoding approaches typically guarantee compliance only with concrete syntax or with a limited set of semantic constraints expressed over the generated text, making metamodel-level constraint consistency difficult to enforce during generation. We present MeMoDecode: a decoding framework that enforces a DSL's concrete syntax, abstract syntax, and well-formedness constraints jointly. Specifically, whenever the LLM generates a complete metamodel concept, MeMoDecode incrementally maps the current output to a partial model and verifies whether it can still be completed into a consistent instance. We combine MeMoDecode with a simple retry mechanism that resumes decoding from the most recent completable snapshot whenever an inconsistency is detected. Under a sound backend verifier, MeMoDecode never performs worse than grammar-constrained decoding on alignment metrics satisfying natural assumptions. Across four DSLs and six open-weight LLMs ranging from 0.6B to 70B parameters, MeMoDecode achieves the highest consistency, improving consistency by 23% on average over unconstrained decoding and by 8% on average over grammar-constrained decoding. It also improves benchmark performance while incurring only modest runtime overhead. These results show that metamodel-guided decoding is an effective approach for enforcing DSL consistency during decoding across diverse DSLs and LLM scales.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ドメイン固有言語(DSL)で記述されたソフトウェア工学の成果物を生成するために、ますます使われています。 正しいDSLインスタンスは通常、具体的な構文だけでなく、セマンティック・ウェルフォームネスの制約を付加したメタモデルによって定義された抽象構文にも従わなければならない。 既存の制約付きデコードアプローチは、通常、具体的な構文や生成されたテキスト上に表現された限定的なセマンティック制約によってのみコンプライアンスを保証するため、生成時にメタモデルレベルの制約一貫性を強制することは困難である。 私たちは、DSLの具体的な構文、抽象構文、そして良質な制約を共同で強制するデコーディングフレームワークであるMeMoDecodeを紹介します。 具体的には、LLMが完全なメタモデルの概念を生成するたびに、MeMoDecodeは現在の出力を部分モデルにインクリメンタルにマッピングし、一貫性のあるインスタンスに完了できるかどうかを検証します。 我々はMeMoDecodeと単純な再試行機構を組み合わせることで、不整合が検出されるたびに最新の合成可能なスナップショットから復号を再開する。 サウンドバックエンド検証器の下では、MeMoDecodeは自然な仮定を満たすアライメントメトリクスの文法制約付き復号化よりも性能が劣ることはない。 4つのDSLと0.6Bから70Bパラメータの6つのオープンウェイトLCMで、MeMoDecodeは最高一貫性を達成し、非制約のデコーディングよりも平均で23%、文法制約のデコーディングより平均で8%向上した。 ベンチマークのパフォーマンスも向上し、ランタイムのオーバーヘッドはわずかである。 これらの結果から,メタモデル誘導復号化は,多種多様なDSLやLLMスケールでの復号化において,DSL一貫性の強化に有効な手法であることが示唆された。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers [55.39407031861402]
  本稿では,スマートコントラクトデコンパイルのためのデータセットとベンチマーク手法であるSCDBenchを紹介する。 データセットには600の現実のSolidityコントラクトと、ペア化されたバイトコード入力、地味なソースコード、再生可能なセマンティックチェックポイントが含まれている。 我々は,GLM-5の変種を含むゼロショット逆コンパイル設定において,Claude Opus 4.7,GPT-5.3-Codex,GLM-5を評価した。
  論文  参考訳（メタデータ） (2026-05-27T20:08:47Z)
• TreeCoder: Systematic Exploration and Optimisation of Decoding and Constraints for LLM Code Generation [2.2940141855172036]
  TreeCoderは、デコーディングを候補プログラムのツリー検索として表現する。 TreeCoderは、CodeLlama、Mistral、DeepSeekなどのオープンソースモデルの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2025-11-27T09:59:39Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Guiding LLMs The Right Way: Fast, Non-Invasive Constrained Generation [7.687678490751105]
  我々は、プリ計算と投機的復号化を利用して、ほとんどオーバーヘッドが無く、場合によっては、制約のない復号化よりも約2$times$のスピードアップを達成できる新しい復号アルゴリズムDOMINOを提案する。
  論文  参考訳（メタデータ） (2024-02-07T13:36:02Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning [27.59524153097858]
  文法制約付き復号法(GCD)は、大言語モデル(LM)の生成を制御するために用いられる。 GCDは一般に構造化NLPタスクの統一フレームワークとして機能する。 文法制約付きLMは、制約なしLMよりも大幅に優れるか、タスク固有の微調整モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T11:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。