論文の概要: Changes in Coding Behavior and Performance Since the Introduction of LLMs

• arxiv url: http://arxiv.org/abs/2601.11835v1
• Date: Fri, 16 Jan 2026 23:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 13:18:03.469508
• Title: Changes in Coding Behavior and Performance Since the Introduction of LLMs
• Title（参考訳）: LLM導入以降の符号化挙動と性能の変化
• Authors: Yufan Zhang, Jaromir Savelka, Seth Goldstein, Michael Conway,
• Abstract要約: 大学院レベルのクラウドコンピューティングコースにおける5年間の学生ソースコードの提出状況を分析した。 学生のコーディング行動は2022年秋以降大きく変化している。
• 参考スコア（独自算出の注目度）: 1.7482685917723753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread availability of large language models (LLMs) has changed how students engage with coding and problem-solving. While these tools may increase student productivity, they also make it more difficult for instructors to assess students' learning and effort. In this quasi-longitudinal study, we analyze five years of student source code submissions in a graduate-level cloud computing course, focusing on an assignment that remained unchanged and examining students' behavior during the period spanning five semesters before the release of ChatGPT and five semesters after. Student coding behavior has changed significantly since Fall 2022. The length of their final submissions increased. Between consecutive submissions, average edit distances increased while average score improvement decreased, suggesting that both student productivity and learning have decreased after ChatGPT's release. Additionally, there are statistically significant correlations between these behavioral changes and their overall performance. Although we cannot definitively attribute them to LLM misuse, they are consistent with our hypothesis that some students are over-reliant on LLMs, which is negatively affecting their learning outcomes. Our findings raise an alarm around the first generation of graduates in the age of LLMs, calling upon both educators and employers to reflect on their evaluation methods for genuine expertise and productivity.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及は、学生のコーディングや問題解決の仕方を変えている。 これらのツールは学生の生産性を高める可能性があるが、インストラクターが生徒の学習と努力を評価するのが難しくなる。 この準縦断的研究では,大学院レベルのクラウドコンピューティングコースにおける5年間の学生ソースコードの提出状況を分析し,ChatGPTのリリース前後の5学期と5学期にわたる学生の行動調査に焦点をあてた。 学生のコーディング行動は2022年秋以降大きく変化している。 最終提出期間は増加した。 その結果,ChatGPTの公開以降,学生の生産性と学習能力の低下が示唆された。 さらに、これらの行動変化と全体的な性能の間に統計的に有意な相関関係がある。 LLMの誤用と断定することはできないが、学習結果に悪影響を及ぼしている学生もいるという仮説と一致している。 我々の研究は、LLM時代の卒業生の第一世代について警告を与え、教育者と雇用主の両方に、真の専門知識と生産性の評価方法を反映するよう呼びかけた。

関連論文リスト

• Can Large Language Models Help Students Prove Software Correctness? An Experimental Study with Dafny [75.55915044740566]
  コンピューティング教育の学生は、ChatGPTのような大きな言語モデル(LLM)をますます利用している。 本稿では,Dafny の形式的検証演習において,学生が LLM とどのように相互作用するかを検討する。
  論文  参考訳（メタデータ） (2025-06-27T16:34:13Z)
• DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs [58.4911494598431]
  DistiLLM-2は、教師の反応の可能性を同時に増加させ、生徒の反応を減少させる対照的なアプローチである。 実験の結果,DistiLLM-2は様々なタスクにまたがって高性能な学生モデルを構築するだけでなく,多様なアプリケーションをサポートすることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T08:51:32Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation [42.49889252988544]
  LLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるだけでなく、初歩的なコンピュータプログラミングコースでの不正行為を容易にする。 本稿では,導入プログラミング問題の収集に広く使用されている5つのLCMのベースライン性能について検討し,その性能を劣化させるために,逆方向の摂動を調べるとともに,導入プログラミング課題の実際のコード生成を妨げる上で,そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。
  論文  参考訳（メタデータ） (2024-10-12T01:01:00Z)
• Insights from Social Shaping Theory: The Appropriation of Large Language Models in an Undergraduate Programming Course [0.9718746651638346]
  大規模言語モデル(LLM)は、コードを生成、デバッグ、説明することができる。 本研究は,学生の社会的知覚が自身のLLM利用にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-06-10T16:40:14Z)
• The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement but Increased Adopters Exam Performances [28.182426634762496]
  大規模言語モデル(LLM)は、幅広い学習経験において急速に採用されている。 我々は,146カ国から5,831人の学生を対象に,大規模ランダム化制御試験を行った。 受験者, 受験者, 受験者, 受験者に対して, GPT-4の広告が有意な減少を招いた。
  論文  参考訳（メタデータ） (2024-04-25T15:39:22Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging [28.321080454393687]
  大規模言語モデル(LLM)は、生成スキルに優れ、実行不可能な速度でコンテンツを作成することができる。 人間の初心者は、教師アシスタントの役割を担い、LLMで教えられるエージェントのコードを支援する。 そこで我々は,人間の初心者が指導アシスタントの役割を担い,LLMを利用した学習エージェントのコード作成を支援する,デバッグの意図的な実践を促進する新しいシステムであるPhyを紹介した。
  論文  参考訳（メタデータ） (2023-10-08T21:39:47Z)
• Identifying Different Student Clusters in Functional Programming Assignments: From Quick Learners to Struggling Students [2.0386745041807033]
  我々は、マギル大学で教えられた関数型プログラミングコースから収集された学生の課題データを分析する。 これにより、「Quick-learning」、「Hardworking」、「Satisficing」、「Struggling」の4つのクラスタを特定できる。 次に、作業習慣、作業期間、エラーの範囲、エラーを修正する能力が、学生の異なるクラスタに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-06T17:15:58Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。