論文の概要: Evaluating the Effectiveness of Large Language Models in Solving Simple Programming Tasks: A User-Centered Study
- arxiv url: http://arxiv.org/abs/2507.04043v1
- Date: Sat, 05 Jul 2025 13:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.989774
- Title: Evaluating the Effectiveness of Large Language Models in Solving Simple Programming Tasks: A User-Centered Study
- Title（参考訳）: 簡単なプログラミング課題の解決における大規模言語モデルの有効性の評価:ユーザ中心研究
- Authors: Kai Deng,
- Abstract要約: 本研究では,ChatGPT-4oとのインタラクションスタイルの違いが,単純なプログラミングタスクにおけるユーザパフォーマンスに与える影響について検討する。
15人の高校生が3種類のモデルで3つの問題を完成させた。
- 参考スコア（独自算出の注目度）: 1.0467092641687232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become more common in educational tools and programming environments, questions arise about how these systems should interact with users. This study investigates how different interaction styles with ChatGPT-4o (passive, proactive, and collaborative) affect user performance on simple programming tasks. I conducted a within-subjects experiment where fifteen high school students participated, completing three problems under three distinct versions of the model. Each version was designed to represent a specific style of AI support: responding only when asked, offering suggestions automatically, or engaging the user in back-and-forth dialogue.Quantitative analysis revealed that the collaborative interaction style significantly improved task completion time compared to the passive and proactive conditions. Participants also reported higher satisfaction and perceived helpfulness when working with the collaborative version. These findings suggest that the way an LLM communicates, how it guides, prompts, and responds, can meaningfully impact learning and performance. This research highlights the importance of designing LLMs that go beyond functional correctness to support more interactive, adaptive, and user-centered experiences, especially for novice programmers.
- Abstract（参考訳）: 大規模言語モデル(LLM)が教育ツールやプログラミング環境において一般的になるにつれて、これらのシステムがユーザとどのように対話すべきかという疑問が持ち上がる。
本研究では,ChatGPT-4o(パッシブ,プロアクティブ,コラボレーティブ)とのインタラクションスタイルの違いが,単純なプログラミングタスクにおけるユーザパフォーマンスに与える影響について検討する。
15人の高校生が参加し、3種類のモデルで3つの問題を完成させた。
それぞれのバージョンは、質問に対してのみ応答し、提案を自動で提供し、ユーザーを前後対話に誘惑するなど、特定のAIサポートのスタイルを表現するように設計されており、定量的分析により、協調的なインタラクションスタイルは受動的条件や前向き条件と比較してタスク完了時間を著しく改善したことが明らかになった。
参加者はまた、共同作業時の満足感と有益感を報告した。
これらの結果は、LLMのコミュニケーションの仕方、それがいかに指導し、プロンプトし、反応するかが、学習とパフォーマンスに有意義な影響を与えることを示唆している。
この研究は、特に初心者プログラマにとって、よりインタラクティブで適応的でユーザ中心のエクスペリエンスをサポートするために、機能的正当性を超えてLLMを設計することの重要性を強調している。
関連論文リスト
- Can Large Language Models Help Students Prove Software Correctness? An Experimental Study with Dafny [79.56218230251953]
コンピューティング教育の学生は、ChatGPTのような大きな言語モデル(LLM)をますます利用している。
本稿では,Dafny の形式的検証演習において,学生が LLM とどのように相互作用するかを検討する。
論文 参考訳（メタデータ） (2025-06-27T16:34:13Z) - Prototypical Human-AI Collaboration Behaviors from LLM-Assisted Writing in the Wild [10.23533525266164]
大規模言語モデル(LLM)は、複雑な記述において、ニーズに合うように世代を操るために使用される。
本研究では,タスク作成に携わるユーザを対象に,この協調行動の大規模分析を行う。
そこで本研究では,LLMとユーザが対話する際の特徴的行動の同定を行った。
論文 参考訳（メタデータ） (2025-05-21T21:13:01Z) - Understanding Learner-LLM Chatbot Interactions and the Impact of Prompting Guidelines [9.834055425277874]
本研究は,学習者とAIの相互作用を,参加者が効果的なプロンプトの構造化指導を受ける教育実験を通して調査する。
ユーザの行動を評価し,有効性を促進するために,107人のユーザから642のインタラクションのデータセットを解析した。
我々の研究は、ユーザーが大規模言語モデルとどのように関わり、AI支援コミュニケーションを強化するための構造化された指導の役割についてより深く理解している。
論文 参考訳（メタデータ） (2025-04-10T15:20:43Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。
具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。
LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
論文 参考訳（メタデータ） (2024-04-28T17:56:14Z) - Narrative Action Evaluation with Prompt-Guided Multimodal Interaction [60.281405999483]
ナラティブ・アクション・アセスメント(NAE)は、行動の実行を評価する専門家のコメントを作成することを目的としている。
NAEは、物語の柔軟性と評価の厳格さの両方を必要とするため、より困難なタスクです。
本稿では,様々な情報モダリティ間のインタラクションを容易にするための,プロンプト誘導型マルチモーダルインタラクションフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-22T17:55:07Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。