論文の概要: Substance Beats Style: Why Beginning Students Fail to Code with LLMs

• arxiv url: http://arxiv.org/abs/2410.19792v1
• Date: Tue, 15 Oct 2024 20:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:20:09.481174
• Title: Substance Beats Style: Why Beginning Students Fail to Code with LLMs
• Title（参考訳）: 学生がLLMでコーディングに失敗した理由
• Authors: Francesca Lucchetti, Zixuan Wu, Arjun Guha, Molly Q Feldman, Carolyn Jane Anderson,
• Abstract要約: 既存の作業は、初心者がLLMにテキストからコードへのタスクの解決を促すのに苦労していることを示している。 本稿では,学生のLLM誤信の原因について,競合する2つの仮説を考察する。
• 参考スコア（独自算出の注目度）: 3.4817709155395327
• License:
• Abstract: Although LLMs are increasing the productivity of professional programmers, existing work shows that beginners struggle to prompt LLMs to solve text-to-code tasks. Why is this the case? This paper explores two competing hypotheses about the cause of student-LLM miscommunication: (1) students simply lack the technical vocabulary needed to write good prompts, and (2) students do not understand the extent of information that LLMs need to solve code generation tasks. We study (1) with a causal intervention experiment on technical vocabulary and (2) by analyzing graphs that abstract how students edit prompts and the different failures that they encounter. We find that substance beats style: a poor grasp of technical vocabulary is merely correlated with prompt failure; that the information content of prompts predicts success; that students get stuck making trivial edits; and more. Our findings have implications for the use of LLMs in programming education, and for efforts to make computing more accessible with LLMs.
• Abstract（参考訳）: LLMはプロのプログラマの生産性を向上しているが、既存の研究は初心者がLLMにテキスト・コード・タスクの解決を促すのに苦労していることを示している。 なぜそうなるのか? 本稿では,学生とLLMのミスコミュニケーションの原因に関する2つの仮説を考察する。(1) 学生は,適切なプロンプトを書くために必要な技術的語彙を欠いていること,(2) 学生はLLMがコード生成タスクを解くために必要な情報量を理解していないこと,である。 本研究では,(1)技術的語彙に関する因果介入実験を行い,(2)学生のプロンプトの編集方法と遭遇するさまざまな失敗を抽象化したグラフを解析した。 技術的語彙の理解が乏しいことは、即時的な失敗とのみ相関し、情報内容が成功を予測すること、学生が自明な編集をしなくなること、などである。 本研究の成果は,プログラミング教育におけるLLMの利用や,LLMによるコンピューティングの使い勝手向上に寄与すると考えられる。

関連論文リスト

• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice [1.106787864231365]
  GPT-4が生成したエラーメッセージは6つのタスクのうち1つで従来のコンパイラエラーメッセージよりも優れていた。 GPT-4が生成したエラーメッセージは6つのタスクのうち1つに過ぎず,従来のコンパイラエラーメッセージよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-27T11:45:56Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• LinkGPT: Teaching Large Language Models To Predict Missing Links [23.57145845001286]
  大規模言語モデル(LLM)は、様々な言語やビジョンタスクにおいて有望な結果を示している。 近年、グラフベースのタスク、特にテキスト分散グラフ(TAG)にLLMを適用することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-06-07T04:54:36Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs) [0.7545833157486899]
  我々はProCoT(Probing Chain-of-Thought)と呼ばれる新しい筆記法を導入する。 学生がLarge Language Model(LLM)を使って浮気することを防ぐかもしれない 65名の学生を対象に,ProCoTを用いて2つのコースで研究を行った。
  論文  参考訳（メタデータ） (2023-12-15T14:01:46Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Exploring the Responses of Large Language Models to Beginner Programmers' Help Requests [1.8260333137469122]
  大規模言語モデル(LLM)が、学生が助けを求める問題のあるコードの問題を特定するのにいかに優れているかを評価する。 オンラインプログラミングコースからヘルプリクエストとコードのサンプルを収集しました。
  論文  参考訳（メタデータ） (2023-06-09T07:19:43Z)
• StudentEval: A Benchmark of Student-Written Prompts for Large Language Models of Code [2.087827281461409]
  StudentEvalには48の問題に対して1,749のプロンプトが含まれており、Pythonプログラミングの1学期しか完了していない80人の学生によって書かれた。 本研究は,学生のプロンプトを解析し,学生のプロンプト技術に有意な変化を見出した。
  論文  参考訳（メタデータ） (2023-06-07T16:03:55Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。