論文の概要: Understanding Help-Seeking Behavior of Students Using LLMs vs. Web Search for Writing SQL Queries
- arxiv url: http://arxiv.org/abs/2408.08401v1
- Date: Thu, 15 Aug 2024 19:58:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:20:01.698525
- Title: Understanding Help-Seeking Behavior of Students Using LLMs vs. Web Search for Writing SQL Queries
- Title(参考訳): LLMとWeb検索を用いたSQLクエリ作成における学生のヘルプ検索行動の理解
- Authors: Harsh Kumar, Mohi Reza, Jeb Mitchell, Ilya Musabirov, Lisa Zhang, Michael Liut,
- Abstract要約: プログラミング教育における大規模言語モデル(LLM)の利用の増加は、学生がqlクエリを書く方法を変えつつある。
伝統的に、学生はコーディング支援のためのウェブ検索に大きく依存していたが、これはChatGPTのようなLLMの採用によって変化してきた。
- 参考スコア(独自算出の注目度): 6.976989336150112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Growth in the use of large language models (LLMs) in programming education is altering how students write SQL queries. Traditionally, students relied heavily on web search for coding assistance, but this has shifted with the adoption of LLMs like ChatGPT. However, the comparative process and outcomes of using web search versus LLMs for coding help remain underexplored. To address this, we conducted a randomized interview study in a database classroom to compare web search and LLMs, including a publicly available LLM (ChatGPT) and an instructor-tuned LLM, for writing SQL queries. Our findings indicate that using an instructor-tuned LLM required significantly more interactions than both ChatGPT and web search, but resulted in a similar number of edits to the final SQL query. No significant differences were found in the quality of the final SQL queries between conditions, although the LLM conditions directionally showed higher query quality. Furthermore, students using instructor-tuned LLM reported a lower mental demand. These results have implications for learning and productivity in programming education.
- Abstract(参考訳): プログラミング教育における大規模言語モデル(LLM)の利用の増加は、学生のSQLクエリの書き方を変えつつある。
伝統的に、学生はコーディング支援のためのウェブ検索に大きく依存していたが、これはChatGPTのようなLLMの採用によって変化してきた。
しかし、コーディングにおけるWeb検索とLLMの比較プロセスと結果については、未検討のままである。
そこで我々は,データベース教室でランダムなインタビュー調査を行い,Web検索とLLMを比較し,SQLクエリを書くためのLLM(ChatGPT)とインストラクターチューニングLLM(LLM)を比較した。
この結果,インストラクターチューニング LLM では,ChatGPT と Web 検索のどちらよりもはるかに多くのインタラクションが必要であったが,最終的なSQL クエリに類似した編集数が得られた。
LLM条件は高いクエリ品質を示したが、最終的なSQLクエリの品質には大きな違いは見つからなかった。
さらに、インストラクター・チューニング LLM を用いた学生は、精神的な要求が低いことを報告した。
これらの結果は、プログラミング教育における学習と生産性に影響を及ぼす。
関連論文リスト
- RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2024-07-11T08:19:58Z) - When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。
LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
論文 参考訳(メタデータ) (2024-06-28T03:52:13Z) - CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。
我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
論文 参考訳(メタデータ) (2024-06-07T15:23:53Z) - CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。
マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
論文 参考訳(メタデータ) (2024-05-04T16:56:14Z) - PURPLE: Making a Large Language Model a Better SQL Writer [14.627323505405327]
NL2タスクに必要な論理演算子構成を含む実演を検索することで精度を向上させるPURPLEを提案する。
PURPLEは、一般的なNL2ベンチマークの検証セット上で80.5%の正確な一致精度と87.8%の実行一致精度という、最先端の新たなパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-03-29T07:01:29Z) - Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。
我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:10:04Z) - LLM-SQL-Solver: Can LLMs Determine SQL Equivalence? [8.051106281989671]
大きな言語モデル(LLM)は、会話、質問応答、課題解決において強力な推論能力を示している。
LLMの高品質な応答生成を支援するために,Miniature & Mull と Explain & Compare の2つのプロンプト技術を提案する。
論文 参考訳(メタデータ) (2023-12-16T05:01:23Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z) - Querying Large Language Models with SQL [16.383179496709737]
多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。
事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。
本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
論文 参考訳(メタデータ) (2023-04-02T06:58:14Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。