論文の概要: An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications
- arxiv url: http://arxiv.org/abs/2404.11050v2
- Date: Thu, 12 Jun 2025 14:28:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 15:37:21.991371
- Title: An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications
- Title（参考訳）: 宣言形式仕様の修正のための事前学習型大規模言語モデルの実証評価
- Authors: Mohannad Alhanahnah, Md Rashedul Hasan, Lisong Xu, Hamid Bagheri,
- Abstract要約: 本稿では,大規模言語モデル(LLM)がアロイの宣言的仕様を修復する能力について,体系的に検討する。
単エージェントと二エージェントのパラダイムを含む12の異なる修復設定を設計し,LLMを多用した。
自動プロンプティング機能を備えたデュアルエージェントは,イテレーション数やトークン使用量の増加とともに,他の設定よりも優れていた。
- 参考スコア（独自算出の注目度）: 7.286515881369693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Program Repair (APR) has garnered significant attention as a practical research domain focused on automatically fixing bugs in programs. While existing APR techniques primarily target imperative programming languages like C and Java, there is a growing need for effective solutions applicable to declarative software specification languages. This paper systematically investigates the capacity of Large Language Models (LLMs) to repair declarative specifications in Alloy, a declarative formal language used for software specification. We designed 12 different repair settings, encompassing single-agent and dual-agent paradigms, utilizing various LLMs. These configurations also incorporate different levels of feedback, including an auto-prompting mechanism for generating prompts autonomously using LLMs. Our study reveals that dual-agent with auto-prompting setup outperforms the other settings, albeit with a marginal increase in the number of iterations and token usage. This dual-agent setup demonstrated superior effectiveness compared to state-of-the-art Alloy APR techniques when evaluated on a comprehensive set of benchmarks. This work is the first to empirically evaluate LLM capabilities to repair declarative specifications, while taking into account recent trending LLM concepts such as LLM-based agents, feedback, auto-prompting, and tools, thus paving the way for future agent-based techniques in software engineering.
- Abstract（参考訳）: プログラムの自動修正(APR)は、プログラムのバグを自動的に修正することに焦点を当てた実践的な研究領域として注目されている。
既存のAPR技術は主にCやJavaのような命令型プログラミング言語をターゲットにしているが、宣言型ソフトウェア仕様言語に適用できる効果的なソリューションの必要性が高まっている。
本稿では,ソフトウェア仕様に使用される宣言型形式言語であるアロイの宣言型仕様を修復するために,LLM(Large Language Models)の能力について体系的に検討する。
単エージェントと二エージェントのパラダイムを含む12の異なる修復設定を設計し,LLMを多用した。
これらの構成には、LLMを使用して自律的にプロンプトを生成する自動プロンプト機構を含む、さまざまなレベルのフィードバックも組み込まれている。
本研究は,自動プロンプト設定によるデュアルエージェントが他の設定よりも優れており,イテレーション数やトークン使用量が少なくなっていることを明らかにした。
このデュアルエージェント・セットアップは、総合的なベンチマークで評価した場合、最先端のAPR技術よりも優れた効果を示した。
この研究は、LLMベースのエージェント、フィードバック、自動プロンプティング、ツールといった最近のLLMの概念を考慮に入れながら、宣言的仕様を修復するLLM機能を実証的に評価する最初のものである。
関連論文リスト
- Unlocking LLM Repair Capabilities in Low-Resource Programming Languages Through Cross-Language Translation and Multi-Agent Refinement [4.5051492144389504]
本稿では,新しい言語間プログラム修復手法 LANTERN を提案する。
提案手法は,LLMが弱い補修能力を示す言語から,より強力な性能を示す言語へ,欠陥コードを戦略的に翻訳する。
我々は,11言語にまたがる5,068のバグを含む総合的な多言語ベンチマークであるxCodeEvalについて評価を行った。
論文 参考訳（メタデータ） (2025-03-28T15:15:56Z) - Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-01-28T15:41:54Z) - Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention [71.12193680015622]
大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。
LLMは異なる言語間で大きな性能差を示す。
Inference-Time Cross-Lingual Intervention (INCLINE) を提案する。
論文 参考訳（メタデータ） (2024-10-16T11:23:03Z) - FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments [21.848112758958543]
本稿では,FastFixerを提案する。
まず,必要なパッチと関連するコンテキストを生成する方法を学ぶことへのLLMの関心を高めることを目的とした,修復指向のファインチューニング戦略を提案する。
修復効率を考慮すると、FastFixerは自動回帰復号アルゴリズムと比較して16.67倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-10-11T10:17:02Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - Revisiting Evolutionary Program Repair via Code Language Model [11.711739409758476]
本稿では,多目的進化アルゴリズムをCLMと統合し,Javaプロジェクトのマルチロケーションバグを修正するARJA-CLMを提案する。
また,提案手法は,CLMが候補文を生成するための,アクセス可能なフィールドとメソッドに関する追加情報により,プロンプトを充実させる。
論文 参考訳（メタデータ） (2024-08-20T01:57:45Z) - Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。
本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。
その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文 参考訳（メタデータ） (2024-07-30T08:50:16Z) - A Deep Dive into Large Language Models for Automated Bug Localization and Repair [12.756202755547024]
大規模言語モデル(LLM)は、自動プログラム修復(APR)など、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。
本研究では,LSMを用いた自動バグ修正について深く検討する。
異なるLLMを用いてバグの局所化と修正を分離することにより、多様なコンテキスト情報の効果的な統合が可能になる。
Toggleは、CodeXGLUEコード改善ベンチマークで、新しい最先端(SOTA)パフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-04-17T17:48:18Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T22:36:31Z) - The Right Prompts for the Job: Repair Code-Review Defects with Large
Language Model [15.885824575879763]
自動プログラム修復(APR)技術は、コードレビュー(CR)プロセス中にプログラム欠陥を発見して修復する手作業を減らす可能性がある。
しかし、既存のAPRアプローチにまつわる限られた精度とかなりの時間的コストは、産業的な実践において採用を妨げている。
近年のLLM(Large Language Models)の進歩により、自然言語やプログラミング言語を理解する能力が向上し、レビューコメントに基づいたパッチの生成が可能になった。
論文 参考訳（メタデータ） (2023-12-29T06:12:15Z) - Automated Repair of Declarative Software Specifications in the Era of
Large Language Models [12.995301758524935]
我々は,アロイ宣言言語で記述されたソフトウェア仕様の修復にOpenAIのChatGPTを利用することの有効性を評価する。
我々の研究では、ChatGPTは既存の技術と比べて不足しているものの、他の手法では対応できないバグの修正に成功していることがわかった。
論文 参考訳（メタデータ） (2023-10-19T02:30:42Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳（メタデータ） (2023-08-06T18:38:52Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳（メタデータ） (2023-05-24T01:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。