論文の概要: Code Transformation Rule Synthesis using LLMs: Potential and Limits
- arxiv url: http://arxiv.org/abs/2609.03592v1
- Date: Thu, 03 Sep 2026 09:40:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.005495
- Title: Code Transformation Rule Synthesis using LLMs: Potential and Limits
- Title（参考訳）: LLMを用いたコード変換規則合成:可能性と限界
- Abstract要約: 本研究は,Comby, GritQL, Ast-Grepという3つのトランスフォーメーションルールを対象とする。
我々は4つのソフトウェア進化タスクをカバーする6つの多様なデータセットに対して、3つのLCM(GPT-5.4, GPT-oss-120B, Llama3.1-8B)を評価する。
GPT-5.4は一貫して高い規則適用率を獲得し、基底真理に最も近い変換を生成する。
小型でオープンウェイトな GPT-oss-120B と Llama3.1-8B モデルは、よりシンプルで局所的な変更には有効であるが、複雑な移行シナリオでは困難である。
- 参考スコア（独自算出の注目度）: 3.8596904019882206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to their black-box nature, LLMs suffer from limited explain- ability and a lack of determinism. Their usage cost can also rise, particularly with repetitive tasks on large codebases. To mitigate this, we conduct a novel empirical study targeting three domain- specific languages for transformation rules, namely Comby, GritQL, and Ast-Grep. We evaluate three LLMs (GPT-5.4, GPT-oss-120B, and Llama3.1-8B) on six diverse datasets covering four software- evolution tasks: API misuse correction, program repair, API migra- tion, and language version migration. Our results provide evidence that transformation rule synthesis moves beyond proof-of-concept with strong frontier models. GPT-5.4 achieves consistently high rule applicability rates and produces transformations closest to the ground truth across most benchmarks. Smaller and open-weight GPT-oss-120B and Llama3.1-8B models remain effective for simpler, localized changes but struggle with complex migration scenarios. We also observe non-negligible generalizability through the usage of meta-variables and through a high reuse score in the first quartile of many datasets. Finally, when compared to the anti-unification algorithm, LLMs outperform it in correctness, but underperform in rule applicability. Overall, our results show great potential for LLMs to generate sound, correct, generalizable, and reusable rules.
- Abstract（参考訳）: ブラックボックスの性質のため、LSMは限定的な説明能力と決定性の欠如に悩まされる。
特に大規模なコードベースでの反復的なタスクでは、その使用コストも上昇する可能性がある。
これを軽減するために、我々は3つのドメイン固有言語、すなわちComby、GritQL、Ast-Grepを対象とする新しい実証的研究を行った。
3つのLCM(GPT-5.4, GPT-oss-120B, Llama3.1-8B)を,API誤用訂正,プログラム修復,APIマイグラオプション,言語バージョンマイグレーションの4つのソフトウェア進化タスクをカバーする6つの多様なデータセットで評価した。
この結果から,変換規則合成が強フロンティアモデルを用いた概念実証を超えることが示唆された。
GPT-5.4は一貫して高い規則適用率を達成し、ほとんどのベンチマークで基底真理に最も近い変換を生成する。
小型でオープンウェイトな GPT-oss-120B と Llama3.1-8B モデルは、よりシンプルで局所的な変更には有効であるが、複雑な移行シナリオでは困難である。
また,メタ変数の使用による非無視的一般化性や,多くのデータセットの最初の四量体における高い再利用スコアも観察する。
最後に、アンチユニフィケーションアルゴリズムと比較すると、LSMは正確性では優れているが、ルール適用性では不十分である。
総じて, LLM が音, 正確, 一般化可能, 再利用可能な規則を生成する大きな可能性を示した。
関連論文リスト
- Learning Together to Perform Better: Teaching Small-Scale LLMs to Collaborate via Preferential Rationale Tuning [20.784944581469205]
COLLATEは、(小さな)LLMをチューニングして、下流タスクを選択的に改善する多様な理性のプールから出力を生成するフレームワークである。
様々なパラメータスケール(1Bから8B)で異なるモデルファミリーのLCMに対してCOLLATEが有効であることを示すとともに、終了タスクによって導かれる複数の合理化プロバイダのメリットを示す。
論文 参考訳（メタデータ） (2025-06-03T06:50:08Z) - Enhancing LLM-Based Code Generation with Complexity Metrics: A Feedback-Driven Approach [6.289275189295223]
本稿では,コード複雑度と大言語モデル生成コードの成功との関係について検討する。
提案手法では,既往の故障した出力からの複雑性メトリクスに基づいて,LCMに正しいコードを生成するための反復的フィードバック手法を提案する。
実験結果から,本手法は特に小型LCMでは顕著な改善が見られた。
論文 参考訳（メタデータ） (2025-05-29T19:06:14Z) - FGIT: Fault-Guided Fine-Tuning for Code Generation [11.557977684152233]
大規模言語モデルのコード生成を改善するために,FGIT(Fault-Guided Fine-Tuning)を提案する。
提案手法は,pass@1ベンチマークで平均6.9%の相対的改善を実現している。
本手法は,多種多様な命令調整 LLM に対して3.8% から19.1% までの性能向上を図った。
論文 参考訳（メタデータ） (2025-03-21T07:23:26Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z) - Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。
本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。
また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
論文 参考訳（メタデータ） (2024-04-16T08:28:16Z) - BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳（メタデータ） (2024-03-27T08:57:21Z) - LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。
LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。
機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。
LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文 参考訳（メタデータ） (2023-11-15T19:52:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。