論文の概要: User Misconceptions of LLM-Based Conversational Programming Assistants

• arxiv url: http://arxiv.org/abs/2510.25662v1
• Date: Wed, 29 Oct 2025 16:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.800167
• Title: User Misconceptions of LLM-Based Conversational Programming Assistants
• Title（参考訳）: LLMに基づく会話型プログラミングアシスタントのユーザ誤解
• Authors: Gabrielle O'Brien, Antonio Pedro Santos Alves, Sebastian Baltes, Grischa Liebel, Mircea Lungu, Marcos Kalinowski,
• Abstract要約: 我々は,会話型LLMアシスタントのユーザがプログラミングの文脈で持つ誤解を特徴付けることを目的としている。 我々の発見は、プログラミング能力をユーザにより明確に伝えるLCMベースのツールを設計する必要性を強化した。
• 参考スコア（独自算出の注目度）: 10.292065384528799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming assistants powered by large language models (LLMs) have become widely available, with conversational assistants like ChatGPT proving particularly accessible to less experienced programmers. However, the varied capabilities of these tools across model versions and the mixed availability of extensions that enable web search, code execution, or retrieval-augmented generation create opportunities for user misconceptions about what systems can and cannot do. Such misconceptions may lead to over-reliance, unproductive practices, or insufficient quality control in LLM-assisted programming. Here, we aim to characterize misconceptions that users of conversational LLM-based assistants may have in programming contexts. Using a two-phase approach, we first brainstorm and catalog user misconceptions that may occur, and then conduct a qualitative analysis to examine whether these conceptual issues surface in naturalistic Python-programming conversations with an LLM-based chatbot drawn from an openly available dataset. Indeed, we see evidence that some users have misplaced expectations about the availability of LLM-based chatbot features like web access, code execution, or non-text output generation. We also see potential evidence for deeper conceptual issues around the scope of information required to debug, validate, and optimize programs. Our findings reinforce the need for designing LLM-based tools that more clearly communicate their programming capabilities to users.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したプログラミングアシスタントが広く普及しており、チャットGPTのような会話アシスタントは経験の浅いプログラマに特にアクセスしやすくなっている。 しかし、これらのツールがモデルバージョンにまたがる様々な機能や、Web検索、コード実行、検索強化生成を可能にする拡張機能が混在していることは、システムができることとできないことに関するユーザの誤解を招きかねない。 このような誤解は、LLM支援プログラミングにおける過度な信頼性、非生産的プラクティス、あるいは品質管理の不十分につながる可能性がある。 そこで本研究では,LLMをベースとした対話型アシスタントのユーザが,プログラミングの文脈で持つ誤解を特徴付けることを目的とする。 2段階のアプローチを用いて、まずブレインストーミングと、それが起こる可能性のあるユーザの誤解をカタログ化し、次いで、オープンに利用可能なデータセットから描画されたLLMベースのチャットボットと自然主義Pythonプログラミングの会話においてこれらの概念が表れているかどうかを定性的に分析する。 実際、LLMベースのチャットボット機能(Webアクセス、コード実行、非テキスト出力生成など)について、一部のユーザが期待を裏切っているという証拠がある。 また、プログラムをデバッグし、検証し、最適化するのに必要な情報の範囲に関して、より深い概念上の問題の可能性がある。 我々の発見は、プログラミング能力をユーザにより明確に伝えるLCMベースのツールを設計する必要性を強めている。

関連論文リスト

• LLM Enhancer: Merged Approach using Vector Embedding for Reducing Large Language Model Hallucinations with External Knowledge [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる自然な応答を生成する能力を実証した。 本稿では,Google,Wikipedia,DuckDuckGoなどの複数のオンラインソースを統合して,データの精度を向上させるLLM ENHANCERシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-29T19:27:04Z)
• debug-gym: A Text-Based Environment for Interactive Debugging [55.11603087371956]
  大規模言語モデル(LLM)は、コーディングタスクにますます依存している。 LLMは、タスクに関連する情報を集めるために対話的にAを探索する能力の恩恵を受けることができると仮定する。 対話型符号化環境において,LLMベースのエージェントを開発するためのテキスト環境,すなわちデバッグジャムを提案する。
  論文  参考訳（メタデータ） (2025-03-27T14:43:28Z)
• Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications [0.9105696129628794]
  大規模言語モデル(LLM)は多くの分野においてその顕著な能力を示している。 この調査は、LLMがユーザに対して、技術的背景に関係なく、ヒューマン言語を使用して実行可能なコードを自動的に生成する方法に焦点を当てている。
  論文  参考訳（メタデータ） (2025-03-03T07:17:30Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• What You Need is What You Get: Theory of Mind for an LLM-Based Code Understanding Assistant [0.0]
  開発者のコード理解を支援するために、多くのツールがLLM(Large Language Models)を使用している。 本研究では,LLMをベースとした対話型アシスタントの設計を行った。 コード理解の初心者を支援するためにLLMベースの会話アシスタントを開発したり改善したりしたい研究者やツールビルダーに洞察を提供する。
  論文  参考訳（メタデータ） (2024-08-08T14:08:15Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
  大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
  論文  参考訳（メタデータ） (2024-02-12T19:49:58Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
  大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。 これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-30T10:51:26Z)
• AskIt: Unified Programming Interface for Programming with Large Language Models [0.0]
  大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。 本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。 50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
  論文  参考訳（メタデータ） (2023-08-29T21:44:27Z)
• Using an LLM to Help With Code Understanding [13.53616539787915]
  大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。 プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。 本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-07-17T00:49:06Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。