論文の概要: Does Confusing Code Confuse LLMs? A Pilot Study on C++
- arxiv url: http://arxiv.org/abs/2611.15575v1
- Date: Wed, 11 Nov 2026 14:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.174825
- Title: Does Confusing Code Confuse LLMs? A Pilot Study on C++
- Title(参考訳): コードがLLMを混乱させるか? C++のパイロット研究
- Abstract要約: 大規模言語モデル(LLM)は、コードの理解に大きく依存するソフトウェアメンテナンスタスクのために、ますます多くデプロイされている。
本稿では, 3つのプロダクションライブラリから抽出したC++コードに対して, LLM性能に対する混乱の原子の影響を評価する。
- 参考スコア(独自算出の注目度): 42.91356234800309
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed for software maintenance tasks that depend heavily on code comprehension. While atoms of confusion, minimal code patterns empirically shown to impair human program comprehension, are well studied, it remains unclear whether these same patterns affect LLMs, and whether their impact varies across maintenance tasks. We present a pilot study evaluating the impact of atoms of confusion on LLM performance on C++ code drawn from three production libraries, using ChatGPT and GitHub Copilot on three software development tasks: atom injection and removal, output prediction, and code explanation. Our results reveal three preliminary findings: (i) the impact of atoms on LLMs is strongly task-dependent; (ii) atoms requiring reasoning about surrounding code are the most resistant to transformation, while localized syntactic atoms are handled reliably; and (iii) LLMs remove atoms of confusion more reliably than they inject them, suggesting that removal succeeds through pattern matching while injection requires deeper comprehension.
- Abstract(参考訳): 大規模言語モデル(LLM)は、コードの理解に大きく依存するソフトウェアメンテナンスタスクのために、ますます多くデプロイされている。
人間のプログラム理解を損なうことを実証的に示す最小限のコードパターンである混乱の原子はよく研究されているが、これらの同じパターンがLSMに影響を与えるのか、それらの影響は保守作業によって異なるのかは、いまだ不明である。
本稿では,3つのソフトウェア開発タスク – 原子注入と除去,出力予測,コード説明 – に対してChatGPTとGitHub Copilotを使用した,3つのプロダクションライブラリから引き出されたC++コードに対する,LLMパフォーマンスに対する混乱の原子の影響を評価するパイロット研究を行う。
以上の結果から,3つの予備的所見が得られた。
i) LLMに対する原子の影響は、強いタスク依存である。
(二)周囲のコードについての推論を必要とする原子は変換に最も耐性があり、一方、局所的な構文的原子は確実に扱われる。
3) LLMは, 混合原子を注入するよりも確実に除去し, より深い理解を必要とする間にパターンマッチングによって除去が成功することを示唆する。
関連論文リスト
- Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors [52.619793817715326]
本稿では,LLM生成したPythonエラーメッセージを,多段階のクラウドソースで評価する。
LLMで書き直されたメッセージは主観評価を著しく向上させたが、これらの評価結果は客観的デバッグ性能の統計的に有意な改善には至らなかった。
これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。
論文 参考訳(メタデータ) (2026-08-21T09:14:28Z) - On Code-Induced Reasoning in LLMs [21.875805779552564]
並列命令データセットを10のプログラミング言語で構築する。
コードの構造的・意味的特性を選択的に破壊する制御摂動を適用する。
以上の結果から,LLMは意味論的よりも構造的摂動に弱いことが示唆された。
論文 参考訳(メタデータ) (2025-09-25T19:57:36Z) - Do AI models help produce verified bug fixes? [62.985237003585674]
大規模言語モデルは、ソフトウェアバグの修正に使用される。
本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。
その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
論文 参考訳(メタデータ) (2025-07-21T17:30:16Z) - Empirical Evaluation of Generalizable Automated Program Repair with Large Language Models [4.757323827658957]
自動プログラム修正は、開発者がソフトウェアをメンテナンスするのを助けるバグ修正を提案する。
近年の研究では、LLMを修復に利用できることが示されている。
オープンモデル (Llama 3.3, Qwen 2.5 Coder, DeepSeek R1 (dist.) など) やクローズドモデル (o3-mini, GPT-4o, Claude 3.7 Sonnet, Gemini 2.0 Flash など) を含む,最新の13モデルの多種多様なセットを評価した。
論文 参考訳(メタデータ) (2025-06-03T18:15:14Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。
GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
論文 参考訳(メタデータ) (2023-05-20T08:43:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。