論文の概要: LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages

• arxiv url: http://arxiv.org/abs/2606.25193v1
• Date: Tue, 23 Jun 2026 21:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.149492
• Title: LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages
• Title（参考訳）: LLM4MTL:モデル変換言語の自動生成と実証評価
• Authors: Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek,
• Abstract要約: 本稿では、モデル変換言語(MTL)のプロンプト戦略の構築と比較を行う自動化ワークフローを提案する。 本報告では、4つのMTLに実行可能な参照スクリプトと手書きテストスイートを備えた評価スイートを構築した。 数発のプロンプトは4つのMLL全体の構文的品質を一貫して改善し,セマンティックな正確さの獲得は不均一で言語に依存していることがわかった。
• 参考スコア（独自算出の注目度）: 5.038471950845515
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model transformation languages (MTLs) are domain-specific languages for transforming models conforming to a given metamodel into other models, including textual models such as source code. Developing correct model transformations is challenging, requiring both language-specific and domain knowledge, and motivating the use of large language models (LLMs) for MTL code generation. However, due to limited training data and executable examples, LLM-generated MTL code is often not syntactically valid or semantically usable out of the box. This paper presents LLM4MTLs, an automated workflow for constructing and comparing prompting strategies for LLM-generated MTL code, together with an evaluation suite and an empirical evaluation. The workflow systematically explores prompt constructions combining few-shot prompting, grammar prompting, and helper method inclusion, and evaluates them using syntactic and semantic metrics. We construct an evaluation suite spanning four MTLs (ATL, ETL, QVTo, and the Reactions language) with executable reference scripts and manually written test suites, and evaluate across three LLMs. We find that few-shot prompting consistently improves syntactic quality across all four MTLs while gains in semantic correctness are uneven and language-dependent. For ATL, Pass@1 remains unchanged across all strategies and models, indicating that few-shot prompting improves surface-level syntax more readily than deep transformation semantics. Grammar prompting stabilizes code generation when combined with few-shot examples, but in isolation it can be ineffective or even counterproductive for certain model-language combinations. Including helper methods as a complementary amplifier can also be beneficial. Finally, LLM choice influences syntactic correctness and similarity for certain MTLs, particularly ETL and QVTo, while its influence on semantic correctness remains limited.
• Abstract（参考訳）: モデル変換言語(MTL)は、与えられたメタモデルに準拠したモデルを、ソースコードなどのテキストモデルを含む他のモデルに変換するためのドメイン固有言語である。 正しいモデル変換を開発することは困難であり、言語固有の知識とドメイン知識の両方を必要とし、MTLコード生成に大規模言語モデル(LLM)を使用することを動機付けている。 しかし、訓練データや実行可能な例が限られているため、LLM生成のMTLコードは構文的に有効でも意味的にもすぐには使用できないことが多い。 本稿では,LLM生成MTLコードのプロンプト戦略の構築と比較を行う自動化ワークフローであるLLM4MTLと,評価スイートと経験的評価について述べる。 このワークフローは、ほとんどショットのプロンプト、文法のプロンプト、ヘルパーメソッドのインクルージョンを組み合わせたプロンプト構造を体系的に探求し、構文とセマンティックメトリクスを使用してそれらを評価する。 本研究では,4つのMTL (ATL, ETL, QVTo, およびリアクション言語) に,実行可能な参照スクリプトと手書きテストスイートを組み込んだ評価スイートを構築し,3つのLLMに対して評価を行う。 数発のプロンプトは4つのMLL全体の構文的品質を一貫して改善し,セマンティックな正確さの獲得は不均一で言語に依存していることがわかった。 ATLでは、Pass@1はすべての戦略やモデルに変化がなく、ほとんどショットのプロンプトは、深い変換セマンティクスよりも表面レベルの構文をより容易に改善することを示している。 グラマーのプロンプトは、わずかな例と組み合わせれば、コード生成を安定化させるが、独立して、特定のモデルと言語の組み合わせでは効果がないか、あるいは非生産的である。 補体増幅器としてのヘルパー法を含めることも有用である。 最後に、LLMの選択は特定のMTL、特にETLとQVToの構文的正当性と類似性に影響を与えるが、その意味的正当性への影響は限定的である。

関連論文リスト

• Enhancing LLM-Based Code Translation with Verified Multi-Semantic Representations [12.071793069280623]
  Multisageは、コード翻訳のためのマルチセマンティック拡張および自己校正フレームワークである。 コード要約、関数レベルのテストケース、API指向の記述とテストなど、さまざまな拡張セマンティクスを生成する。 HumanEval-Xコード翻訳ベンチマークの実験によると、Multisageは様々なバックボーンモデルで最大2.22倍の翻訳成功率向上を実現している。
  論文  参考訳（メタデータ） (2026-06-10T09:38:40Z)
• DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
  拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。 モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2026-02-13T02:18:14Z)
• TIT: A Tree-Structured Instruction Tuning Approach for LLM-Based Code Translation [11.882496324328905]
  LLMに基づくコード翻訳のためのツリー構造化命令チューニングパラダイムであるTITを提案する。 構文的混乱を軽減するため、構文的情報表現モジュールは言語に依存しない構文的特徴を統合する。 高品質の粒度並列データを生成するために、細粒度並列データセット拡張モジュールは、ノードとコードセグメントを整列する。
  論文  参考訳（メタデータ） (2025-10-10T13:53:46Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks [0.996023506058745]
  文法マスキング(Grammar masking)は、与えられた文脈自由文法に対して構文的に正しいモデルを生成するための大きな言語モデルを導くために用いられる。 文法マスキングは,複数の言語モデルのモデリング能力を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:19:59Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。