論文の概要: One Step at a Time: Combining LLMs and Static Analysis to Generate Next-Step Hints for Programming Tasks

• arxiv url: http://arxiv.org/abs/2410.09268v1
• Date: Fri, 11 Oct 2024 21:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:23:18.194643
• Title: One Step at a Time: Combining LLMs and Static Analysis to Generate Next-Step Hints for Programming Tasks
• Title（参考訳）: LLMと静的解析を組み合わせてプログラミングタスクのための次のステップのヒントを生成する
• Authors: Anastasiia Birillo, Elizaveta Artser, Anna Potriasaeva, Ilya Vlasov, Katsiaryna Dzialets, Yaroslav Golubev, Igor Gerasimov, Hieke Keuning, Timofey Bryksin,
• Abstract要約: 学生はプログラミングを学ぶとき、特にオンラインでやらなければならないとき、プログラミングの問題を解決するのに苦労することが多い。 このヘルプは次のステップのヒント生成として提供され、生徒が次にすべき小さなステップを教えて、正しいソリューションを得る。 本稿では,プログラムタスクのためのテキストヒントとコードヒントの両方を提供する新しいシステムを提案する。
• 参考スコア（独自算出の注目度）: 5.069252018619403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Students often struggle with solving programming problems when learning to code, especially when they have to do it online, with one of the most common disadvantages of working online being the lack of personalized help. This help can be provided as next-step hint generation, i.e., showing a student what specific small step they need to do next to get to the correct solution. There are many ways to generate such hints, with large language models (LLMs) being among the most actively studied right now. While LLMs constitute a promising technology for providing personalized help, combining them with other techniques, such as static analysis, can significantly improve the output quality. In this work, we utilize this idea and propose a novel system to provide both textual and code hints for programming tasks. The pipeline of the proposed approach uses a chain-of-thought prompting technique and consists of three distinct steps: (1) generating subgoals - a list of actions to proceed with the task from the current student's solution, (2) generating the code to achieve the next subgoal, and (3) generating the text to describe this needed action. During the second step, we apply static analysis to the generated code to control its size and quality. The tool is implemented as a modification to the open-source JetBrains Academy plugin, supporting students in their in-IDE courses. To evaluate our approach, we propose a list of criteria for all steps in our pipeline and conduct two rounds of expert validation. Finally, we evaluate the next-step hints in a classroom with 14 students from two universities. Our results show that both forms of the hints - textual and code - were helpful for the students, and the proposed system helped them to proceed with the coding tasks.
• Abstract（参考訳）: 学生はプログラミングを学ぶとき、特にオンラインでプログラミングをしなければならないとき、プログラミングの問題を解決するのに苦労することが多い。 この助けは次のステップのヒント生成、すなわち、生徒が次にすべき小さなステップを示すことで、正しい解を得ることができる。 このようなヒントを生成する方法は数多くあり、大きな言語モデル(LLM)が現在最も活発に研究されている。 LLMはパーソナライズされた支援を提供するための有望な技術であるが、静的解析などの他の技術と組み合わせることで、出力品質を大幅に向上させることができる。 本研究では,このアイデアを利用して,プログラムタスクにテキストとコードヒントの両方を提供する新しいシステムを提案する。 提案手法のパイプラインは,(1)サブゴールの生成,(2)次のサブゴールを達成するためのコード生成,(3)必要なアクションを記述するためのテキスト生成という,3つのステップから構成される。 2番目のステップでは、生成されたコードに静的解析を適用して、そのサイズと品質を制御します。 このツールはオープンソースのJetBrains Academyプラグインの変更として実装されており、IDEコースの学生をサポートする。 このアプローチを評価するために、パイプラインの全ステップの基準リストを提案し、専門家による検証を2回実施する。 最後に,2つの大学から14人の学生を擁する教室において,次のステップのヒントを評価する。 本研究の結果から,ヒントの両形態 – テキストとコード – が学生にとって有効であることが分かり,提案システムによってプログラミング作業の進行が促進された。

関連論文リスト

• A Knowledge-Component-Based Methodology for Evaluating AI Assistants [9.412070852474313]
  GPT-4をベースとしたCS1プログラム代入のためのヒント自動生成システムの評価を行った。 本システムは,学生が短時間のプログラミング演習において,誤った解法をいかに改善できるか,という自然言語指導を提供する。
  論文  参考訳（メタデータ） (2024-06-09T00:58:39Z)
• Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
  言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。 すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。 我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T19:40:50Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)
• Jointly Learning to Repair Code and Generate Commit Message [78.4177637346384]
  バグの多いコード、固定コード、新しいタスクのコミットメッセージを含む多言語3重データセットを構築した。 カスケード方式の誤り伝搬問題に対処するため,コード修復とコミットメッセージ生成の両立が可能なジョイントモデルを提案する。 実験結果から,教師学習法とマルチタスク学習法を併用した拡張カスケードモデルにより,自動コード修復のメトリクスの最良のスコアが得られた。
  論文  参考訳（メタデータ） (2021-09-25T07:08:28Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。