論文の概要: Can LLMs Replace Humans During Code Chunking?

• arxiv url: http://arxiv.org/abs/2506.19897v1
• Date: Tue, 24 Jun 2025 13:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.489296
• Title: Can LLMs Replace Humans During Code Chunking?
• Title（参考訳）: LLMはコードチャンキング中に人間を置き換えることができるのか?
• Authors: Christopher Glasz, Emily Escamilla, Eric O. Scott, Anand Patel, Jacob Zimmer, Colin Diggs, Michael Doyle, Scott Rosen, Nitin Naik, Justin F. Brunelle, Samruddhi Thaker, Parthav Poudel, Arun Sridharan, Amit Madan, Doug Wendt, William Macke, Thomas Schill,
• Abstract要約: 大規模言語モデル(LLM)は、特にコード理解と生成に関わるタスクにおいて、コンピュータ科学において重要なツールとなっている。 本稿では,ALC および MUMPS で記述されたレガシ行政コードの近代化における LLM の適用について検討する。
• 参考スコア（独自算出の注目度）: 2.4056836012742
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) have become essential tools in computer science, especially for tasks involving code understanding and generation. However, existing work does not address many of the unique challenges presented by code written for government applications. In particular, government enterprise software is often written in legacy languages like MUMPS or assembly language code (ALC) and the overall token lengths of these systems exceed the context window size for current commercially available LLMs. Additionally, LLMs are primarily trained on modern software languages and have undergone limited testing with legacy languages, making their ability to understand legacy languages unknown and, hence, an area for empirical study. This paper examines the application of LLMs in the modernization of legacy government code written in ALC and MUMPS, addressing the challenges of input limitations. We investigate various code-chunking methods to optimize the generation of summary module comments for legacy code files, evaluating the impact of code-chunking methods on the quality of documentation produced by different LLMs, including GPT-4o, Claude 3 Sonnet, Mixtral, and Llama 3. Our results indicate that LLMs can select partition points closely aligned with human expert partitioning. We also find that chunking approaches have significant impact on downstream tasks such as documentation generation. LLM-created partitions produce comments that are up to 20% more factual and up to 10% more useful than when humans create partitions. Therefore, we conclude that LLMs can be used as suitable replacements for human partitioning of large codebases during LLM-aided modernization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にコード理解と生成に関わるタスクにおいて、コンピュータ科学において重要なツールとなっている。 しかし、既存の作業は、政府アプリケーション向けに書かれたコードによって提示される、ユニークな課題の多くに対処していない。 特に、政府のエンタープライズソフトウェアは、しばしばMUMPSやアセンブリ言語コード(ALC)のようなレガシー言語で書かれており、これらのシステムの全体的なトークン長は、現在の商用LLMのコンテキストウィンドウサイズを超えている。 加えて、LLMは主に現代のソフトウェア言語で訓練されており、レガシー言語との限定的なテストを行っており、レガシー言語を理解する能力が未知であり、結果として実証研究の領域となっている。 本稿では,ALC および MUMPS で記述されたレガシーガバナンスコードの近代化における LLM の適用について検討し,入力制限の課題に対処する。 GPT-4o, Claude 3 Sonnet, Mixtral, Llama 3 など,様々な LLM が生成するドキュメンテーションの品質に及ぼすコードチャンキング手法の影響を評価する。 以上の結果から,LSMは人間の専門的分割と密接に一致した分割点を選択できることが示唆された。 また、チャンキングアプローチがドキュメント生成などの下流タスクに重大な影響を与えることもわかりました。 LLMで作成されたパーティションは、人間がパーティションを作成するときよりも20%ほど現実的であり、最大10%有用なコメントを生成する。 そこで本稿では,LLM の近代化において,大規模なコードベースを分割する際の代替として LLM を用いることができる,と結論付けている。

関連論文リスト

• LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding [69.93924733846576]
  Long code understanding benchmark LONGCODEU to evaluate LCLMs' long code understanding ability required for practical applications。 LCLMの性能は、長いコード長が32Kを超えると劇的に低下し、128K-1Mのコンテキストウィンドウよりもはるかに低下した。 我々の研究は、LCLMを最適化し、ソフトウェア工学の進歩を推進するための貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-06T12:02:31Z)
• Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
  MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。 本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。 本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
  論文  参考訳（メタデータ） (2024-11-22T14:27:27Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights [9.414198519543564]
  codellm-devkit (以下, CLDK') は,プログラム解析のプロセスを大幅に単純化したオープンソースライブラリである。 CLDKは開発者に対して直感的でユーザフレンドリなインターフェースを提供しています。
  論文  参考訳（メタデータ） (2024-10-16T20:05:59Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• The potential of LLMs for coding with low-resource and domain-specific programming languages [0.0]
  本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。 この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
  論文  参考訳（メタデータ） (2023-07-24T17:17:13Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。