論文の概要: Leveraging LLMs to support co-evolution between definitions and instances of textual DSLs: A Systematic Evaluation
- arxiv url: http://arxiv.org/abs/2602.11904v1
- Date: Thu, 12 Feb 2026 13:01:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.819521
- Title: Leveraging LLMs to support co-evolution between definitions and instances of textual DSLs: A Systematic Evaluation
- Title(参考訳): LLMを活用してテキストDSLの定義とインスタンスの共進化を支援する:システム的評価
- Authors: Weixing Zhang, Bowen Jiang, Yuhong Fu, Anne Koziolek, Regina Hebig, Daniel Strüber,
- Abstract要約: 本研究は,文法とテキストDSLの共進化における大規模言語モデルの可能性について,体系的に評価する。
その結果,小規模症例では高い性能を示したが,規模によって性能が低下した。
- 参考スコア(独自算出の注目度): 6.964708557733698
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Software languages evolve over time for reasons such as feature additions. When grammars evolve, textual instances that originally conformed to them may become outdated. While model-driven engineering provides many techniques for co-evolving models with metamodel changes, these approaches are not designed for textual DSLs and may lose human-relevant information such as layout and comments. This study systematically evaluates the potential of large language models (LLMs) for co-evolving grammars and instances of textual DSLs. Using Claude Sonnet 4.5 and GPT-5.2 across ten case languages with ten runs each, we assess both correctness and preservation of human-oriented information. Results show strong performance on small-scale cases ($\geq$94% precision and recall for instances requiring fewer than 20 modified lines), but performance degraded with scale: Claude maintains 85% recall at 40 lines, while GPT fails on the largest instances. Response time increases substantially with instance size, and grammar evolution complexity and deletion granularity affect performance more than change type. These findings clarify when LLM-based co-evolution is effective and where current limitations remain.
- Abstract(参考訳): ソフトウェア言語は機能追加などの理由で時間とともに進化します。
文法が進化すると、本来それらに適合したテキストのインスタンスは時代遅れになる。
モデル駆動エンジニアリングは、メタモデルの変更を伴うモデルの共同進化のための多くのテクニックを提供するが、これらのアプローチは、テキストDSL用に設計されておらず、レイアウトやコメントのような人間関連の情報を失う可能性がある。
本研究では,大言語モデル(LLM)の文法とテキストDSLの事例を共進化させる可能性について,体系的に評価する。
クロード・ソネット 4.5 と GPT-5.2 を10言語に分けて使用し,人間の意図した情報の正確さと保存性を評価する。
結果は、小さなケース(20行未満の修正行を必要とするインスタンスの94%の精度とリコール)で強いパフォーマンスを示しているが、パフォーマンスはスケールで劣化している。
応答時間はインスタンスサイズとともに大幅に増加し、文法進化の複雑さと削除の粒度は、変更タイプよりもパフォーマンスに影響する。
これらの結果から, LLMを用いた共進化が有効であり, 現状の限界が残っているかが明らかとなった。
関連論文リスト
- Anka: A Domain-Specific Language for Reliable LLM Code Generation [0.0]
大規模言語モデル(LLM)は、複雑な多段階プログラミングタスクの体系的なエラーを示す。
明示的で制約のある構文で設計されたデータ変換パイプライン用のドメイン固有言語()であるAnkaを紹介します。
Ankaは100のベンチマーク問題に対して99.9%のパース成功と95.8%のタスク精度を達成した。
論文 参考訳(メタデータ) (2025-12-29T05:28:17Z) - Leveraging LLMs to support co-evolution between definitions and instances of textual DSLs [4.005603658378095]
本研究では,Large Language Model (LLM) を用いた文法とインスタンス共進化の実現の可能性について検討する。
Claude-3.5 と GPT-4o の2つの先進言語モデルを適用し、7つのケース言語で実験を行い、本手法の有効性と限界を評価した。
論文 参考訳(メタデータ) (2025-12-07T13:17:37Z) - The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。
本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
論文 参考訳(メタデータ) (2025-05-23T20:28:31Z) - The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。
Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。
その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文 参考訳(メタデータ) (2023-11-16T09:35:50Z) - The Curse of Recursion: Training on Generated Data Makes Models Forget [70.02793975243212]
大規模言語モデル(LLM)が存続し、オンラインテキストと画像のエコシステム全体に劇的な変化をもたらすだろう。
トレーニングにおけるモデル生成コンテンツの使用は、元のコンテンツ分布の尾部が消える結果のモデルに不可逆的な欠陥を引き起こす。
論文 参考訳(メタデータ) (2023-05-27T15:10:41Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳(メタデータ) (2021-11-02T15:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。