論文の概要: Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors

• arxiv url: http://arxiv.org/abs/2608.20896v1
• Date: Fri, 21 Aug 2026 09:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.48512
• Title: Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors
• Title（参考訳）: トレースバックを超えて: プログラミングエラーの適応的説明にLLMを使用する
• Abstract要約: 本稿では,LLM生成したPythonエラーメッセージを,多段階のクラウドソースで評価する。 LLMで書き直されたメッセージは主観評価を著しく向上させたが、これらの評価結果は客観的デバッグ性能の統計的に有意な改善には至らなかった。 これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 52.619793817715326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming error messages are critical for software development, yet they remain difficult for novice programmers to interpret. While Large Language Models (LLMs) can rewrite these errors into clearer explanations, it remains unclear whether increased readability improves objective debugging performance or how explanation styles should align with programmer skill. We present a multi-stage crowdsourced study N=103 evaluating skill-targeted, LLM-generated Python error messages. Using a custom proficiency assessment, we categorized participants by skill level and tested standard interpreter messages against two LLM-generated styles: pragmatic (action-oriented) and contingent (scaffolded explanations). We measured both objective debugging metrics (fix rate, attempts, time-to-fix) and subjective perceptions (readability, cognitive load, tone). Our results show that while LLM-rewritten messages significantly improved subjective evaluations, with pragmatic messages rated as clearer and less cognitively demanding, these perceived gains did not translate into statistically significant improvements in objective debugging performance. This highlights a critical human-AI complementarity gap: explanations that feel better to users do not necessarily make them more effective debuggers. We discuss design implications for adaptive AI feedback systems, arguing that future tools should pivot from static skill-targeted rewriting toward dynamic adjustments based on a user's real-time repair trajectory.
• Abstract（参考訳）: エラーメッセージのプログラミングはソフトウェア開発には不可欠だが、初心者プログラマにとっては解釈が難しい。 大きな言語モデル(LLM)は、これらのエラーをより明確な説明に書き換えることができるが、読みやすさの向上が客観的デバッグのパフォーマンスを改善するか、説明スタイルがプログラマのスキルとどのように一致すべきかは、まだ不明である。 我々は,多段階のクラウドソーシング研究N=103について,LLM生成Pythonエラーメッセージの評価を行った。 従来の習熟度評価を用いて、参加者をスキルレベルで分類し、実用的(アクション指向)と継続的(スキャフォールドによる説明)の2つのスタイルに対して標準通訳メッセージをテストした。 客観的なデバッグ指標(修正率,試行,修正までの時間)と主観的知覚(可読性,認知負荷,トーン)を測定した。 以上の結果から,LLMで書き直されたメッセージは主観的評価を有意に改善し,実用的メッセージはより明確で認知的要求の少ないものとなったが,これらの評価は客観的デバッグ性能の統計的に有意な改善には至らなかった。 これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。 適応型AIフィードバックシステムの設計の意味を論じ、将来のツールが静的なスキル目標の書き直しから、ユーザのリアルタイムな修復軌道に基づく動的調整へ向けるべきである、と論じる。

関連論文リスト

• Unlocking LLM Code Correction with Iterative Feedback Loops [5.504955093712013]
  本研究では、コード障害の評価、修正パターンの分析、推論と非推論モデルの有効性の比較を行うメトリクスを紹介する。 その結果、推論モデルは反復よりも一貫して改善され、フィードバックを活用する際に非推論モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-06-16T04:47:42Z)
• Exploring the Potential and Limitations of Large Language Models for Novice Program Fault Localization [13.571471290271122]
  初心者プログラマは、限られた経験とプログラミングの構文とロジックの理解のために、フォールトローカライゼーションの課題に直面することが多い。 大きな言語モデル(LLM)は、プログラムの構文やセマンティクスを理解する能力を活用することで、これらの制限を克服することを約束している。 本研究では、Codeflaws、Condefects、BugTデータセットを用いて、6つのクローズドソースと7つのオープンソースLCMを評価する。
  論文  参考訳（メタデータ） (2025-12-03T03:55:18Z)
• Improving Large Language Models Function Calling and Interpretability via Guided-Structured Templates [56.73907811047611]
  大規模言語モデル(LLM)は強力な推論とツール使用能力を示している。 LLMは、誤ったパラメータ化、悪いツールの選択、ユーザーの意図の誤解釈によって、現実世界のツールインタラクションで失敗することが多い。 我々は、構造化推論テンプレートを利用して、関数呼び出しを生成するためのより故意なステップバイステップ命令を通してLCMをガイドするカリキュラムに着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-22T17:55:14Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation [42.49889252988544]
  LLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるだけでなく、初歩的なコンピュータプログラミングコースでの不正行為を容易にする。 本稿では,導入プログラミング問題の収集に広く使用されている5つのLCMのベースライン性能について検討し,その性能を劣化させるために,逆方向の摂動を調べるとともに,導入プログラミング課題の実際のコード生成を妨げる上で,そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。
  論文  参考訳（メタデータ） (2024-10-12T01:01:00Z)
• What Did I Do Wrong? Quantifying LLMs' Sensitivity and Consistency to Prompt Engineering [12.950770409452035]
  分類タスク,すなわち感度と一貫性の2つの指標を導入する。 感度はプロンプトの 言い換えによる予測の変化を測る その代わり、一貫性は、同じクラスの要素の言い換えで予測がどのように変化するかを測定する。
  論文  参考訳（メタデータ） (2024-06-18T06:59:24Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。