論文の概要: User Misconceptions of LLM-Based Conversational Programming Assistants

• arxiv url: http://arxiv.org/abs/2510.25662v1
• Date: Wed, 29 Oct 2025 16:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.800167
• Title: User Misconceptions of LLM-Based Conversational Programming Assistants
• Title（参考訳）: LLMに基づく会話型プログラミングアシスタントのユーザ誤解
• Authors: Gabrielle O'Brien, Antonio Pedro Santos Alves, Sebastian Baltes, Grischa Liebel, Mircea Lungu, Marcos Kalinowski,
• Abstract要約: 我々は,会話型LLMアシスタントのユーザがプログラミングの文脈で持つ誤解を特徴付けることを目的としている。 我々の発見は、プログラミング能力をユーザにより明確に伝えるLCMベースのツールを設計する必要性を強化した。
• 参考スコア（独自算出の注目度）: 10.292065384528799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming assistants powered by large language models (LLMs) have become widely available, with conversational assistants like ChatGPT proving particularly accessible to less experienced programmers. However, the varied capabilities of these tools across model versions and the mixed availability of extensions that enable web search, code execution, or retrieval-augmented generation create opportunities for user misconceptions about what systems can and cannot do. Such misconceptions may lead to over-reliance, unproductive practices, or insufficient quality control in LLM-assisted programming. Here, we aim to characterize misconceptions that users of conversational LLM-based assistants may have in programming contexts. Using a two-phase approach, we first brainstorm and catalog user misconceptions that may occur, and then conduct a qualitative analysis to examine whether these conceptual issues surface in naturalistic Python-programming conversations with an LLM-based chatbot drawn from an openly available dataset. Indeed, we see evidence that some users have misplaced expectations about the availability of LLM-based chatbot features like web access, code execution, or non-text output generation. We also see potential evidence for deeper conceptual issues around the scope of information required to debug, validate, and optimize programs. Our findings reinforce the need for designing LLM-based tools that more clearly communicate their programming capabilities to users.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したプログラミングアシスタントが広く普及しており、チャットGPTのような会話アシスタントは経験の浅いプログラマに特にアクセスしやすくなっている。 しかし、これらのツールがモデルバージョンにまたがる様々な機能や、Web検索、コード実行、検索強化生成を可能にする拡張機能が混在していることは、システムができることとできないことに関するユーザの誤解を招きかねない。 このような誤解は、LLM支援プログラミングにおける過度な信頼性、非生産的プラクティス、あるいは品質管理の不十分につながる可能性がある。 そこで本研究では,LLMをベースとした対話型アシスタントのユーザが,プログラミングの文脈で持つ誤解を特徴付けることを目的とする。 2段階のアプローチを用いて、まずブレインストーミングと、それが起こる可能性のあるユーザの誤解をカタログ化し、次いで、オープンに利用可能なデータセットから描画されたLLMベースのチャットボットと自然主義Pythonプログラミングの会話においてこれらの概念が表れているかどうかを定性的に分析する。 実際、LLMベースのチャットボット機能(Webアクセス、コード実行、非テキスト出力生成など)について、一部のユーザが期待を裏切っているという証拠がある。 また、プログラムをデバッグし、検証し、最適化するのに必要な情報の範囲に関して、より深い概念上の問題の可能性がある。 我々の発見は、プログラミング能力をユーザにより明確に伝えるLCMベースのツールを設計する必要性を強めている。

関連論文リスト

• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
  大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。 これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-30T10:51:26Z)
• AskIt: Unified Programming Interface for Programming with Large Language Models [0.0]
  大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。 本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。 50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
  論文  参考訳（メタデータ） (2023-08-29T21:44:27Z)
• Using an LLM to Help With Code Understanding [13.53616539787915]
  大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。 プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。 本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-07-17T00:49:06Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。