論文の概要: Evaluating the Capability of LLMs in Identifying Compilation Errors in Configurable Systems
- arxiv url: http://arxiv.org/abs/2407.19087v2
- Date: Tue, 30 Jul 2024 13:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 12:29:44.488716
- Title: Evaluating the Capability of LLMs in Identifying Compilation Errors in Configurable Systems
- Title（参考訳）: 構成可能なシステムにおけるコンパイル誤差の同定におけるLCMの能力評価
- Authors: Lucas Albuquerque, Rohit Gheyi, Márcio Ribeiro,
- Abstract要約: 本研究では,大規模言語モデル(LLM),特にChatGPT4,Le Chat Mistral,Gemini Advanced 1.5の有効性を評価する。
ChatGPT4は、個々の製品でほとんどのコンパイルエラーを特定することに成功した。
Le Chat MistralとGemini Advanced 1.5はそれらのいくつかを発見した。
- 参考スコア（独自算出の注目度）: 1.2928804566606342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compilation is an important process in developing configurable systems, such as Linux. However, identifying compilation errors in configurable systems is not straightforward because traditional compilers are not variability-aware. Previous approaches that detect some of these compilation errors often rely on advanced techniques that require significant effort from programmers. This study evaluates the efficacy of Large Language Models (LLMs), specifically ChatGPT4, Le Chat Mistral and Gemini Advanced 1.5, in identifying compilation errors in configurable systems. Initially, we evaluate 50 small products in C++, Java, and C languages, followed by 30 small configurable systems in C, covering 17 different types of compilation errors. ChatGPT4 successfully identified most compilation errors in individual products and in configurable systems, while Le Chat Mistral and Gemini Advanced 1.5 detected some of them. LLMs have shown potential in assisting developers in identifying compilation errors in configurable systems.
- Abstract（参考訳）: コンパイルはLinuxのような構成可能なシステムを開発する上で重要なプロセスである。
しかし、従来のコンパイラは可変性を意識していないため、構成可能なシステムでコンパイルエラーを特定することは簡単ではない。
これらのコンパイルエラーを検知する以前のアプローチは、プログラマの多大な努力を必要とする高度な技術に依存していることが多い。
本研究では,大規模言語モデル(LLM),特にChatGPT4,Le Chat Mistral,Gemini Advanced 1.5の有効性について検討した。
最初は、C++、Java、C言語で50の小さな製品を評価し、その後C言語で30の小さな構成可能なシステムが17種類のコンパイルエラーをカバーしました。
ChatGPT4は個々の製品や構成可能なシステムでほとんどのコンパイルエラーを検知し、Le Chat MistralとGemini Advanced 1.5はそれらのいくつかを検出した。
LLMは開発者が構成可能なシステムでコンパイルエラーを識別するのを補助する可能性を示している。
関連論文リスト
- Understanding Misconfigurations in ROS: An Empirical Study and Current Approaches [1.3124513975412255]
Robot Operating System (ROS)は、開発者が再利用可能な既製のコンポーネントからロボットソフトウェアシステムを構築することができる人気のフレームワークとエコシステムである。
再利用可能なコンポーネントは理論上は高速なプロトタイピングを可能にするが、適切な構成と接続を確保することは困難である。
我々は、ROS開発中に発生する誤設定を特定し分類するために、Q&AプラットフォームであるROS Answersの研究を行う。
論文 参考訳（メタデータ） (2024-07-27T16:20:43Z) - KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。
現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。
このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
論文 参考訳（メタデータ） (2024-07-02T21:44:22Z) - C-LLM: Learn to Check Chinese Spelling Errors Character by Character [61.53865964535705]
本稿では,C-LLMを提案する。C-LLMは,文字による誤り文字のチェックを学習する中国語のスペルチェック手法である。
C-LLMは既存の方法よりも平均10%改善する。
論文 参考訳（メタデータ） (2024-06-24T11:16:31Z) - Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。
有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。
LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
論文 参考訳（メタデータ） (2024-04-30T08:51:49Z) - In industrial embedded software, are some compilation errors easier to localize and fix than others? [1.627308316856397]
製品ソースコードから4つのプロジェクトから40000以上のビルドを収集し、コンパイルエラーを14のエラータイプに分類しました。
最も一般的な5つは、すべてのコンパイルエラーの99%であることを示す。
私たちの研究は、最も一般的な産業的なコンパイルエラーを修正するのに必要な人的労力に関する洞察も提供しています。
論文 参考訳（メタデータ） (2024-04-23T08:20:18Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z) - The Devil Is in the Command Line: Associating the Compiler Flags With
the Binary and Build Metadata [0.0]
コンパイラフラグの望ましくない組み合わせによる欠陥は、非自明なソフトウェアプロジェクトでは一般的である。
コンパイラがどのようにコンパイルされ、ソフトウェアシステムがリンクされたかの問い合わせ可能なデータベースは、早期に欠陥を検出するのに役立ちます。
論文 参考訳（メタデータ） (2023-12-20T22:27:32Z) - Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。
確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。
Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
論文 参考訳（メタデータ） (2023-09-25T15:42:18Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳（メタデータ） (2023-08-23T02:36:19Z) - Isolating Compiler Bugs by Generating Effective Witness Programs with Large Language Models [10.660543763757518]
既存のコンパイラのバグ分離アプローチは、問題をテストプログラムの突然変異問題に変換する。
コンパイラのバグ分離のための効率的なテストプログラムを生成するために,LLM4CBIという新しい手法を提案する。
GCCとLLVMの120以上の実際のバグに対する最先端のアプローチと比較し,LLM4CBIの利点を実証した。
論文 参考訳（メタデータ） (2023-07-02T15:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。