論文の概要: DSL-Bench: Evaluating and Explaining LLM Code Generation Across Domain-Specific Languages
- arxiv url: http://arxiv.org/abs/2611.05168v1
- Date: Tue, 03 Nov 2026 16:37:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:56:37.631291
- Title: DSL-Bench: Evaluating and Explaining LLM Code Generation Across Domain-Specific Languages
- Title(参考訳): DSL-Bench: ドメイン特化言語全体にわたるLLMコード生成の評価と説明
- Abstract要約: クロスコード生成のための実行可能なベンチマークおよび分析フレームワークであるDSL-Benchを提案する。
13,045のDSL関連論文から、評価可能なDSLを選択し、構文チェッカーとタスクレベルのセマンティックオラクルを提供する。
提案手法は,全18DSLを対象とした迅速な技術評価と,5つの目標DSLに対する5つの改善手法の検討である。
- 参考スコア(独自算出の注目度): 41.35882877377692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used in software-engineering workflows, but code-generation benchmarks largely focus on general-purpose languages. Domain-specific languages (DSLs) have distinct syntax, semantics, and validation requirements, making results from individual DSL benchmarks difficult to compare. We present DSL-Bench, an executable benchmark and analysis framework for cross-DSL code generation. Starting from 13,045 DSL-related papers, LLM-assisted open card sorting identifies 18 representative application domains. For each domain, we select an evaluable DSL and provide a syntax checker and task-level semantic oracle. Evaluating 7 LLMs on 18 DSLs, we observe mean syntax and semantic pass rates of 31.37% and 11.64%, respectively, revealing a substantial gap between syntax acceptance and semantic correctness. A variance decomposition attributes 76.99% of semantic pass-rate variation to differences among DSLs and 7.86% to differences among models. Among four DSL-level factors, Knowledge Demand has the strongest negative association with semantic correctness (r = -0.508). We evaluate prompt engineering across all 18 DSLs and study five improvement methods on five targeted DSLs. Prompt engineering yields uneven gains; RAG-Refinement, the strongest targeted method, improves semantic correctness by 16.29 percentage points on average over matched baselines. We further derive capability profiles and DSL-Profiler summaries for interpreting data-scarce DSLs. These results highlight toolchain-specific semantic bottlenecks and the need to evaluate DSL code generation beyond syntax acceptance.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ソフトウェア工学のワークフローでますます使われているが、コード生成ベンチマークは主に汎用言語に焦点を当てている。
ドメイン固有言語(DSL)は、異なる構文、セマンティクス、バリデーション要件を持ち、個々のDSLベンチマークの結果を比較するのが難しい。
我々は、DSLコード生成のための実行可能なベンチマークおよび分析フレームワークであるDSL-Benchを紹介する。
13,045のDSL関連論文から始めて、LLM支援のオープンカードソートは18の代表的なアプリケーションドメインを識別する。
各ドメインについて、評価可能なDSLを選択し、シンタックスチェッカーとタスクレベルのセマンティックオラクルを提供します。
18 DSL 上で 7 個の LLM を評価することで,平均構文とセマンティックパス率をそれぞれ 31.37% と 11.64% と評価し,構文の受容と意味的正しさの間に大きなギャップがあることを明らかにする。
分散分解特性は、DSL間でのセマンティックパスレート変動の76.99%、モデル間での差の7.86%である。
DSLレベルの4つの要因のうち、知識要求は意味的正当性(r = -0.508)と最も負の相関を持つ。
提案手法は,全18DSLを対象とした迅速な技術評価と,5つの目標DSLに対する5つの改善手法の検討である。
RAG-Refinementは最強のターゲット手法であり、マッチした基準線上での平均16.29ポイントのセマンティック正当性を改善する。
さらに、データスカースDSLを解釈するための機能プロファイルとDSL-Profilerの要約を導出する。
これらの結果は、ツールチェーン固有のセマンティックボトルネックと、構文の受け入れを超えたDSLコード生成を評価する必要性を強調している。
関連論文リスト
- Beyond SAEs: Consistent Concept Discovery with Sparse Coding [54.60525564599342]
一貫性スパース辞書学習(Consistent Sparse Dictionary Learning)は、標準線形エンコーダをサンプル単位スパース符号化に置き換える。
ConSDLは16の合成設定でほぼ完全な辞書と係数の回復を実現している。
これにより、4つのビジョンと言語設定をまたいだ最先端のクロスシード一貫性が実現される。
論文 参考訳(メタデータ) (2026-10-16T17:25:11Z) - Where LLMs Fail with Visualization DSLs [3.0596124551079953]
3つのLLMに41のタスクを持つ10種類のDSLを評価し、可視化およびレンダリングチェックを用いて生成された仕様を評価し、失敗したケースの定性的なコーディングを行う。
繰り返し発生する4つの障害パターンを特定し、それぞれを特定のDSL特徴にリンクし、将来のDSL設計における設計上の考慮事項について議論する。
論文 参考訳(メタデータ) (2026-10-01T15:30:59Z) - Text2DSL: LLM-Based Code Generation for Domain-Specific Languages [78.29352305480285]
本稿では、自然言語記述からDSLコードを自動的に生成するタスクであるText2を定式化する。
我々は,PolkitBenchデータセットを導入し,4,204個の自然言語対を検証した。
論文 参考訳(メタデータ) (2026-06-21T16:44:20Z) - Leveraging LLMs for Multi-File DSL Code Generation: An Industrial Case Study [39.936784974007644]
大規模言語モデル(LLM)は汎用コード生成に強く貢献するが、エンタープライズドメイン特化言語(s)への適用性は未定である。
本稿では,コード指向のLLMを用いて,Xtext ベースの DSL 用のプロジェクトルート DSL アーチファクトの生成と修正を行う,BMW の産業ケーススタディについて報告する。
構造化されたパス応答生成をリポジトリスケールでエンコードし、ファイル間の依存関係を学習します。
論文 参考訳(メタデータ) (2026-04-27T16:38:01Z) - DSL-R1: From SQL to DSL for Training Retrieval Agents across Structured and Unstructured Data with Reinforcement Learning [16.922690739842654]
DSL-R1は、論理的推論とセマンティックマッチングを相乗化する統合フレームワークである。
本稿では,ルールベースの実行フィードバックと検索品質報酬を併用してDSL生成を最適化する強化学習機構を提案する。
論文 参考訳(メタデータ) (2026-01-14T02:04:54Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳(メタデータ) (2025-02-18T02:54:25Z) - From a Natural to a Formal Language with DSL Assistant [0.0]
DSL の開発を支援するために生成言語モデルを統合するツールである DSL Assistant の設計と試作を行う。
DSL Assistantは、OpenAIのアシスタントAPIとGPT-4oを使用して、DSL文法とサンプルインスタンスを生成する。
我々の実験によると、DSL AssistantはユーザーがDSLを作成し、修正するのに役立つ。
論文 参考訳(メタデータ) (2024-08-19T07:53:56Z) - Leveraging Code to Improve In-context Learning for Semantic Parsing [48.66031267718704]
In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。
我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
論文 参考訳(メタデータ) (2023-11-16T02:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。