論文の概要: Changes in Coding Behavior and Performance Since the Introduction of LLMs

• arxiv url: http://arxiv.org/abs/2601.11835v1
• Date: Fri, 16 Jan 2026 23:51:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-01-21 12:45:21.339015
• Title: Changes in Coding Behavior and Performance Since the Introduction of LLMs
• Title（参考訳）: LLM導入以降の符号化挙動と性能の変化
• Authors: Yufan Zhang, Jaromir Savelka, Seth Goldstein, Michael Conway,
• Abstract要約: 大学院レベルのクラウドコンピューティングコースにおける5年間の学生ソースコードの提出状況を分析した。 学生のコーディング行動は2022年秋以降大きく変化している。
• 参考スコア（独自算出の注目度）: 1.7482685917723753
• License:
• Abstract: The widespread availability of large language models (LLMs) has changed how students engage with coding and problem-solving. While these tools may increase student productivity, they also make it more difficult for instructors to assess students' learning and effort. In this quasi-longitudinal study, we analyze five years of student source code submissions in a graduate-level cloud computing course, focusing on an assignment that remained unchanged and examining students' behavior during the period spanning five semesters before the release of ChatGPT and five semesters after. Student coding behavior has changed significantly since Fall 2022. The length of their final submissions increased. Between consecutive submissions, average edit distances increased while average score improvement decreased, suggesting that both student productivity and learning have decreased after ChatGPT's release. Additionally, there are statistically significant correlations between these behavioral changes and their overall performance. Although we cannot definitively attribute them to LLM misuse, they are consistent with our hypothesis that some students are over-reliant on LLMs, which is negatively affecting their learning outcomes. Our findings raise an alarm around the first generation of graduates in the age of LLMs, calling upon both educators and employers to reflect on their evaluation methods for genuine expertise and productivity.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及は、学生のコーディングや問題解決の仕方を変えている。 これらのツールは学生の生産性を高める可能性があるが、インストラクターが生徒の学習と努力を評価するのが難しくなる。 この準縦断的研究では,大学院レベルのクラウドコンピューティングコースにおける5年間の学生ソースコードの提出状況を分析し,ChatGPTのリリース前後の5学期と5学期にわたる学生の行動調査に焦点をあてた。 学生のコーディング行動は2022年秋以降大きく変化している。 最終提出期間は増加した。 その結果,ChatGPTの公開以降,学生の生産性と学習能力の低下が示唆された。 さらに、これらの行動変化と全体的な性能の間に統計的に有意な相関関係がある。 LLMの誤用と断定することはできないが、学習結果に悪影響を及ぼしている学生もいるという仮説と一致している。 我々の研究は、LLM時代の卒業生の第一世代について警告を与え、教育者と雇用主の両方に、真の専門知識と生産性の評価方法を反映するよう呼びかけた。

関連論文リスト

• Can Large Language Models Help Students Prove Software Correctness? An Experimental Study with Dafny [75.55915044740566]
  コンピューティング教育の学生は、ChatGPTのような大きな言語モデル(LLM)をますます利用している。 本稿では,Dafny の形式的検証演習において,学生が LLM とどのように相互作用するかを検討する。
  論文  参考訳（メタデータ） (2025-06-27T16:34:13Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation [42.49889252988544]
  LLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるだけでなく、初歩的なコンピュータプログラミングコースでの不正行為を容易にする。 本稿では,導入プログラミング問題の収集に広く使用されている5つのLCMのベースライン性能について検討し,その性能を劣化させるために,逆方向の摂動を調べるとともに,導入プログラミング課題の実際のコード生成を妨げる上で,そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。
  論文  参考訳（メタデータ） (2024-10-12T01:01:00Z)
• Insights from Social Shaping Theory: The Appropriation of Large Language Models in an Undergraduate Programming Course [0.9718746651638346]
  大規模言語モデル(LLM)は、コードを生成、デバッグ、説明することができる。 本研究は,学生の社会的知覚が自身のLLM利用にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-06-10T16:40:14Z)
• The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement but Increased Adopters Exam Performances [28.182426634762496]
  大規模言語モデル(LLM)は、幅広い学習経験において急速に採用されている。 我々は,146カ国から5,831人の学生を対象に,大規模ランダム化制御試験を行った。 受験者, 受験者, 受験者, 受験者に対して, GPT-4の広告が有意な減少を招いた。
  論文  参考訳（メタデータ） (2024-04-25T15:39:22Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。