論文の概要: Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging
- arxiv url: http://arxiv.org/abs/2406.11709v4
- Date: Thu, 07 Nov 2024 07:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-09 00:48:50.176540
- Title: Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging
- Title（参考訳）: LLMベースのマルチスレッド計画とソクラティックコードデバッグのための階層的質問
- Authors: Priyanka Kargupta, Ishika Agarwal, Dilek Hakkani-Tur, Jiawei Han,
- Abstract要約: ソクラテス質問は効果的な教育戦略であり、批判的思考と問題解決を奨励する。
TreeInstructは、学生が個別にエラーを特定し、解決するのを助けるために、探索的な質問をする。
学生の概念的・統語的知識を推定し、その反応と現在の知識状態に基づいて質問ツリーを動的に構築する。
- 参考スコア（独自算出の注目度）: 27.70379206820154
- License:
- Abstract: Socratic questioning is an effective teaching strategy, encouraging critical thinking and problem-solving. The conversational capabilities of large language models (LLMs) show great potential for providing scalable, real-time student guidance. However, current LLMs often give away solutions directly, making them ineffective instructors. We tackle this issue in the code debugging domain with TreeInstruct, an Instructor agent guided by a novel state space-based planning algorithm. TreeInstruct asks probing questions to help students independently identify and resolve errors. It estimates a student's conceptual and syntactical knowledge to dynamically construct a question tree based on their responses and current knowledge state, effectively addressing both independent and dependent mistakes concurrently in a multi-turn interaction setting. In addition to using an existing single-bug debugging benchmark, we construct a more challenging multi-bug dataset of 150 coding problems, incorrect solutions, and bug fixes -- all carefully constructed and annotated by experts. Extensive evaluation shows TreeInstruct's state-of-the-art performance on both datasets, proving it to be a more effective instructor than baselines. Furthermore, a real-world case study with five students of varying skill levels further demonstrates TreeInstruct's ability to guide students to debug their code efficiently with minimal turns and highly Socratic questioning.
- Abstract（参考訳）: ソクラテス質問は効果的な教育戦略であり、批判的思考と問題解決を奨励する。
大規模言語モデル(LLM)の会話能力は、スケーラブルでリアルタイムな学生指導を提供する大きな可能性を示している。
しかし、現在のLLMは直接的に解を与えることが多く、非効率なインストラクターとなる。
我々は、新しい状態空間ベースの計画アルゴリズムによって誘導されるインストラクタエージェントであるTreeInstructを用いて、コードデバッグ領域におけるこの問題に対処する。
TreeInstructは、学生が個別にエラーを特定し、解決するのを助けるために、探索的な質問をする。
学生の概念的および構文的知識を推定し、その反応と現在の知識状態に基づいて質問ツリーを動的に構築し、マルチターンインタラクション設定において、独立的および依存的誤りを同時に解決する。
既存の単一バグデバッグベンチマークの使用に加えて、150のコーディング問題、不正なソリューション、バグ修正といった、専門家によって慎重に構築され、注釈付けされた、より困難なマルチバグデータセットを構築しています。
大規模な評価は、両方のデータセットでTreeInstructの最先端のパフォーマンスを示し、ベースラインよりも効果的なインストラクターであることを証明している。
さらに、様々なスキルレベルを持つ5人の学生による実世界のケーススタディでは、TreeInstructが生徒に最小限のターンと高いソクラテス的質問でコードを効率的にデバッグできるように指導する能力を示している。
関連論文リスト
- Konstruktor: A Strong Baseline for Simple Knowledge Graph Question Answering [60.6042489577575]
Konstruktor - 問題を3つのステップに分割する,効率的で堅牢なアプローチ。
我々のアプローチは言語モデルと知識グラフを統合し、前者の力と後者の解釈可能性を活用する。
関係検出において、ワークフローの最も困難なステップとして、関係分類・生成とランク付けの組み合わせが、他の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T09:19:11Z) - Effective Large Language Model Debugging with Best-first Tree Search [27.68711322875045]
大きな言語モデル(LLM)は、コード生成タスクの約束を示す。
LLMはバグの発見と修正を一貫して行うことはできない。
本研究では,LLMが自己回帰と探索によってコードをデバッグするアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-26T19:26:00Z) - A Knowledge-Component-Based Methodology for Evaluating AI Assistants [9.412070852474313]
GPT-4をベースとしたCS1プログラム代入のためのヒント自動生成システムの評価を行った。
本システムは,学生が短時間のプログラミング演習において,誤った解法をいかに改善できるか,という自然言語指導を提供する。
論文 参考訳（メタデータ） (2024-06-09T00:58:39Z) - KIWI: A Dataset of Knowledge-Intensive Writing Instructions for
Answering Research Questions [63.307317584926146]
ユーザ命令に従うように適応された大規模言語モデル(LLM)は、現在では会話エージェントとして広くデプロイされている。
そこで本研究では,より一般的な命令追従タスクとして,長文の回答作成を支援することを提案する。
我々は、科学領域における知識集約的な記述命令のデータセットKIWIを構築した。
論文 参考訳（メタデータ） (2024-03-06T17:16:44Z) - Can Language Models Employ the Socratic Method? Experiments with Code
Debugging [1.2776694801834354]
本稿では,初心者プログラマが簡単な計算問題に対してバグ修正を行うのを支援するためのマルチターンソクラティックアドバイスのデータセットを紹介する。
このデータセットは、命令ベースのテキスト・トゥ・テキスト・トランスフォーマー-T5の微調整からゼロショット、さらに大きなGPT-4の思考の連鎖まで、多くの言語モデルのソクラティックデバッグ能力のベンチマークに使用される。
論文 参考訳（メタデータ） (2023-10-04T23:32:33Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳（メタデータ） (2023-08-29T17:22:39Z) - Knowledge-enhanced Iterative Instruction Generation and Reasoning for
Knowledge Base Question Answering [43.72266327778216]
マルチホップ知識ベース質問回答は、質問に言及されたトピックエンティティからのいくつかのホップである知識ベースで回答エンティティを見つけることを目的としている。
既存のRetrievalベースのアプローチでは、まず質問から指示を生成し、知識グラフ上のマルチホップ推論をガイドする。
我々は2つのマルチホップKBQAベンチマークの実験を行い、既存のアプローチを上回り、新しい最先端技術となった。
論文 参考訳（メタデータ） (2022-09-07T09:02:45Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - PalmTree: Learning an Assembly Language Model for Instruction Embedding [8.74990895782223]
汎用命令埋め込み生成のためのアセンブリ言語モデルであるPalmTreeの事前トレーニングを提案する。
PalmTreeは固有のメトリクスに対して最高のパフォーマンスを持ち、下流タスクの他の命令埋め込みスキームよりも優れています。
論文 参考訳（メタデータ） (2021-01-21T22:30:01Z) - Learning by Fixing: Solving Math Word Problems with Weak Supervision [70.62896781438694]
数学用語問題(mwps)の従来のニューラルネットワークソルバは、完全な監視によって学習され、多様なソリューションを生み出すことができない。
MWPを学習するためのテキスト弱教師付きパラダイムを提案する。
この手法は最終回答のアノテーションのみを必要とし、単一の問題に対して様々な解決策を生成できる。
論文 参考訳（メタデータ） (2020-12-19T03:10:21Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。