論文の概要: Impact of Comments on LLM Comprehension of Legacy Code

• arxiv url: http://arxiv.org/abs/2506.11007v1
• Date: Wed, 23 Apr 2025 20:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.462143
• Title: Impact of Comments on LLM Comprehension of Legacy Code
• Title（参考訳）: レガシーコードのLCM理解に及ぼすコメントの影響
• Authors: Rock Sabetto, Emily Escamilla, Devesh Agarwal, Sujay Kandwal, Justin F. Brunelle, Scott Rosen, Nitin Naik, Samruddhi Thaker, Eric O. Scott, Jacob Zimmer, Amit Madan, Arun Sridharan, Doug Wendt, Michael Doyle, Christopher Glasz, Jasper Phillips, William Macke, Colin Diggs, Michael Bartholf, Zachary Robin, Paul Ursino,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学とメンテナンスタスクにますます統合されている。 しかし、LLMがレガシー言語で書かれたコードを理解する能力は依然として研究のギャップである。
• 参考スコア（独自算出の注目度）: 1.0974873784120402
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) have been increasingly integrated into software engineering and maintenance tasks due to their high performance with software engineering tasks and robust understanding of modern programming languages. However, the ability of LLMs to comprehend code written with legacy languages remains a research gap challenged by real-world legacy systems lacking or containing inaccurate documentation that may impact LLM comprehension. To assess LLM comprehension of legacy languages, there is a need for objective LLM evaluation. In order to objectively measure LLM comprehension of legacy languages, we need an efficient, quantitative evaluation method. We leverage multiple-choice question answering (MCQA), an emerging LLM evaluation methodology, to evaluate LLM comprehension of legacy code and the impact of comment prevalence and inaccurate comments. In this work, we present preliminary findings on the impact of documentation on LLM comprehension of legacy code and outline strategic objectives for future work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの高性能化と現代のプログラミング言語の堅牢な理解のため、ソフトウェアエンジニアリングとメンテナンスタスクにますます統合されている。 しかし、LLMがレガシー言語で書かれたコードを理解する能力は、LLMの理解に影響を与える可能性のある不正確なドキュメントを欠いている、あるいは含まない現実世界のレガシーシステムによる研究のギャップとして依然として残っている。 レガシー言語のLLM理解を評価するには,客観的なLLM評価が必要である。 レガシー言語のLLM理解を客観的に評価するには,効率的かつ定量的な評価方法が必要である。 我々は,LLM評価手法であるMultiple-choice Question answering (MCQA)を活用し,レガシコードのLLM理解とコメントの頻度および不正確なコメントの影響を評価する。 本稿では,レガシコードのLCM理解に対する文書化の影響に関する予備的知見と今後の研究の戦略的目的について概説する。

関連論文リスト

• Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
  MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。 本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。 本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
  論文  参考訳（メタデータ） (2024-11-22T14:27:27Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
  大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。 本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-18T22:02:43Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。