論文の概要: Do Code LLMs Do Static Analysis?

• arxiv url: http://arxiv.org/abs/2505.12118v1
• Date: Sat, 17 May 2025 18:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.049239
• Title: Do Code LLMs Do Static Analysis?
• Title（参考訳）: コードLLMは静的分析を行うか?
• Authors: Chia-Yi Su, Collin McMillan,
• Abstract要約: 本稿では,コード要約や生成などのコードインテリジェンスタスクにおいて,LLMの静的解析能力について検討する。 3つの静的解析タスク(コールグラフ生成、AST生成、データフロー生成)と3つの異なるコードインテリジェンスタスク(コード生成、要約、翻訳)を実験に使用しています。 静的解析タスクにおけるLCMの性能は低下しており,静的解析タスクに対する事前学習は,コードインテリジェンスタスクにおけるパフォーマンス向上に寄与しないことがわかった。
• 参考スコア（独自算出の注目度）: 2.4401219403555814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates code LLMs' capability of static analysis during code intelligence tasks such as code summarization and generation. Code LLMs are now household names for their abilities to do some programming tasks that have heretofore required people. The process that people follow to do programming tasks has long been understood to require static analysis. For example, human programmers navigate the call graph of large programs to comprehend the different parts of those programs. Education in programming includes static analysis under the assumption that better static analysis skills beget better programming. Yet while popular culture is replete with anthropomorphic references such as LLM "reasoning", in fact code LLMs could exhibit a wholly alien thought process to humans. This paper studies the specific question of static analysis by code LLMs. We use three different static analysis tasks (callgraph generation, AST generation, and dataflow generation) and three different code intelligence tasks (code generation, summarization, and translation) with two different open-source models (Gemini and GPT-4o) and closed-source models (CodeLlaMA and Jam) as our experiments. We found that LLMs show poor performance on static analysis tasks and that pretraining on the static analysis tasks does not generalize to better performance on the code intelligence tasks.
• Abstract（参考訳）: 本稿では,コード要約や生成などのコードインテリジェンスタスクにおいて,LLMの静的解析能力について検討する。 コードLLMは、これまで必要とされていたいくつかのプログラミングタスクを行う能力において、今や家名となっている。 人々がプログラミングタスクを行うために従うプロセスは、静的解析を必要とするように長い間理解されてきた。 例えば、人間のプログラマは、大きなプログラムのコールグラフをナビゲートして、それらのプログラムの異なる部分を理解する。 プログラミングの教育には、より良い静的分析スキルがより良いプログラミングを期待する、という前提の下で静的解析が含まれる。 しかし、大衆文化は LLM のような人為的参照を欠いているが、実際には LLM は人間にとって完全に異星人の思考過程を示す可能性がある。 本稿では,コードLLMによる静的解析の具体的問題について検討する。 我々は3つの異なる静的解析タスク(コールグラフ生成、AST生成、データフロー生成)と3つの異なるコードインテリジェンスタスク(コード生成、要約、翻訳)と2つの異なるオープンソースモデル(Gemini、GPT-4o)とクローズドソースモデル(CodeLlaMA、Jam)を実験に使用しています。 静的解析タスクにおけるLCMの性能は低下しており,静的解析タスクに対する事前学習は,コードインテリジェンスタスクにおけるパフォーマンス向上に寄与しないことがわかった。

関連論文リスト

• Perplexed: Understanding When Large Language Models are Confused [3.4208414448496027]
  本稿では,言語モデルが複雑になる場所を探索するライブラリであるperplexedを紹介する。 Codetokenizerと呼ばれるコードモデルの解析を支援するために構築した追加ツールを使用して、コード生成のためのLLM(Large Language Models)に焦点を当てたケーススタディを実施しました。 我々の研究したコードLLMは、コードが構文的に正しくないコーディング構造において、最悪のパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2024-04-09T22:03:39Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
  大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。 本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-18T22:02:43Z)
• How Does Naming Affect LLMs on Code Analysis Tasks? [8.150719423943109]
  自然言語処理(NLP)において,Large Language Models (LLMs) が提案され,汎用言語モデルとして有望な結果が得られた。 本稿では,コード解析タスクにおける命名がLLMに与える影響について検討する。
  論文  参考訳（メタデータ） (2023-07-24T02:38:24Z)
• LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
  我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。 GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
  論文  参考訳（メタデータ） (2023-05-20T08:43:49Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。