論文の概要: Using Large Language Models to Enhance Programming Error Messages
- arxiv url: http://arxiv.org/abs/2210.11630v1
- Date: Thu, 20 Oct 2022 23:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:40:41.282512
- Title: Using Large Language Models to Enhance Programming Error Messages
- Title(参考訳): 大規模言語モデルを用いたエラーメッセージのプログラミング
- Authors: Juho Leinonen, Arto Hellas, Sami Sarsa, Brent Reeves, Paul Denny,
James Prather, Brett A. Becker
- Abstract要約: 大規模な言語モデルは、エラーメッセージのプログラミングに有用な拡張を作成するために使用することができる。
我々は,大規模言語モデルの利点と欠点について論じ,プログラムエラーメッセージの強化に向けた今後の研究の流れを浮き彫りにする。
- 参考スコア(独自算出の注目度): 5.903720638984496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key part of learning to program is learning to understand programming error
messages. They can be hard to interpret and identifying the cause of errors can
be time-consuming. One factor in this challenge is that the messages are
typically intended for an audience that already knows how to program, or even
for programming environments that then use the information to highlight areas
in code. Researchers have been working on making these errors more novice
friendly since the 1960s, however progress has been slow. The present work
contributes to this stream of research by using large language models to
enhance programming error messages with explanations of the errors and
suggestions on how to fix the error. Large language models can be used to
create useful and novice-friendly enhancements to programming error messages
that sometimes surpass the original programming error messages in
interpretability and actionability. These results provide further evidence of
the benefits of large language models for computing educators, highlighting
their use in areas known to be challenging for students. We further discuss the
benefits and downsides of large language models and highlight future streams of
research for enhancing programming error messages.
- Abstract(参考訳): プログラミングを学ぶ上で重要なのは、プログラムエラーメッセージを理解することだ。
エラーの原因を解釈し、特定するのは時間を要する可能性がある。
この課題の1つの要因は、メッセージが典型的には、すでにプログラミングの方法を知っているオーディエンスや、その情報を使ってコードの領域をハイライトするプログラミング環境に向けられていることである。
研究者は1960年代からこれらのエラーを初心者フレンドリーにすることに取り組んでいるが、進展は遅くなっている。
本研究は,大規模な言語モデルを用いて,エラーの解説やエラーの修正方法の提案とともに,エラーメッセージのプログラミングを強化することによる,この研究の流れに寄与する。
大規模な言語モデルは、解釈性と動作性において、元のプログラミングエラーメッセージを超えたエラーメッセージをプログラミングするための、便利で初心者フレンドリーな拡張を作成するのに使うことができる。
これらの結果は、コンピュータ教育者にとって大きな言語モデルの利点のさらなる証拠となり、学生にとって困難な領域での使用が強調された。
大規模言語モデルの利点と欠点をさらに議論し、プログラムエラーメッセージの強化に向けた今後の研究の流れを強調する。
関連論文リスト
- How Helpful do Novice Programmers Find the Feedback of an Automated
Repair Tool? [1.2990666399718034]
自動修復ツールであるCLARAを使って初心者にフィードバックを提供する経験について述べる。
まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。
初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。
論文 参考訳(メタデータ) (2023-10-02T07:45:56Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳(メタデータ) (2023-08-23T02:36:19Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳(メタデータ) (2023-06-21T20:47:23Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳(メタデータ) (2023-04-11T10:43:43Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳(メタデータ) (2022-11-16T10:00:23Z) - Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black
Magic? [5.714553194279462]
2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータの変動が生成したプログラムの品質に重大な影響を及ぼすかどうかを理解するために研究を行う。
その結果,入力パラメータの変動は言語モデルの性能を著しく向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-10-26T13:28:14Z) - What is it like to program with artificial intelligence? [10.343988028594612]
大規模言語モデルは、自然言語で表される様々な問題を解決するためにコードを生成することができる。
この技術はすでに、少なくとも1つの広く使用されているプログラミングエディタ拡張、GitHub Copilotで商用化されている。
我々は,大規模言語モデル(LLM支援プログラミング)を用いたプログラミングが,プログラマ支援の事前概念化とどのように似ており,異なるのかを考察する。
論文 参考訳(メタデータ) (2022-08-12T10:48:46Z) - Static Prediction of Runtime Errors by Learning to Execute Programs with
External Resource Descriptions [31.46148643917194]
実世界のデータセットと実行時のエラーを予測するタスクを導入します。
プログラムの実行を模倣する帰納的バイアスを持つインタプリタにインスパイアされたアーキテクチャを開発する。
また,このモデルでは,エラーの有無やエラーの種類を示すラベルにのみトレーニングされているにもかかわらず,エラーの位置を予測できることを示す。
論文 参考訳(メタデータ) (2022-03-07T23:17:17Z) - SYNFIX: Automatically Fixing Syntax Errors using Compiler Diagnostics [0.0]
生徒は、構文エラーに対処する際の自動修正提案によって助けられ、インストラクターの時間を節約できる。
最新技術を大幅に向上させる機械学習ベースのツールであるSYNFIXを紹介します。
私たちはSYNFIXを無償のVisual Studio Codeのオープンソースバージョンに作りました。すべてのソースコードとモデルを自由に利用できるようにしています。
論文 参考訳(メタデータ) (2021-04-29T21:57:44Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。