論文の概要: Leveraging Large Language Models in Code Question Answering: Baselines and Issues

• arxiv url: http://arxiv.org/abs/2411.03012v1
• Date: Tue, 05 Nov 2024 11:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:33.750397
• Title: Leveraging Large Language Models in Code Question Answering: Baselines and Issues
• Title（参考訳）: コード質問回答における大規模言語モデルの活用 - ベースラインと課題
• Authors: Georgy Andryushchenko, Vladimir Ivanov, Vladimir Makharev, Elizaveta Tukhtina, Aidar Valeev,
• Abstract要約: 本稿では,Pythonのソースコードに対する質問応答のために,大規模言語モデルを用いた研究について述べる。 提案手法は,Pythonコードの問合せと解答の統一データセット上で,大規模言語モデルを微調整することを含む。 手動エラー解析の結果とともに,BLEU-4,BERTScore F1,BLEURT,Exact Matchの測定値について報告する。
• 参考スコア（独自算出の注目度）: 0.1617522438111378
• License:
• Abstract: Question answering over source code provides software engineers and project managers with helpful information about the implemented features of a software product. This paper presents a work devoted to using large language models for question answering over source code in Python. The proposed method for implementing a source code question answering system involves fine-tuning a large language model on a unified dataset of questions and answers for Python code. To achieve the highest quality answers, we tested various models trained on datasets preprocessed in different ways: a dataset without grammar correction, a dataset with grammar correction, and a dataset augmented with the generated summaries. The model answers were also analyzed for errors manually. We report BLEU-4, BERTScore F1, BLEURT, and Exact Match metric values, along with the conclusions from the manual error analysis. The obtained experimental results highlight the current problems of the research area, such as poor quality of the public genuine question-answering datasets. In addition, the findings include the positive effect of the grammar correction of the training data on the testing metric values. The addressed findings and issues could be important for other researchers who attempt to improve the quality of source code question answering solutions. The training and evaluation code is publicly available at https://github.com/IU-AES-AI4Code/CodeQuestionAnswering.
• Abstract（参考訳）: ソースコードに関する質問に対する回答は、ソフトウェア製品の実装された機能に関する有益な情報を提供するソフトウェアエンジニアとプロジェクトマネージャに提供します。 本稿では,Pythonのソースコードに対する質問応答のために,大規模言語モデルを用いた研究について述べる。 提案手法は,Pythonコードの問合せと解答の統一データセット上で,大規模言語モデルを微調整することを含む。 高い品質の回答を得るために, 文法修正なしデータセット, 文法修正付きデータセット, 生成した要約を付加したデータセットなど, 様々な方法で事前処理されたデータセットに基づいて訓練された各種モデルを検証した。 モデル回答も手動で分析された。 手動エラー解析の結果とともに,BLEU-4,BERTScore F1,BLEURT,Exact Matchの測定値について報告する。 得られた実験結果は,公開真の質問応答データセットの質の低下など,研究領域の現在の問題点を浮き彫りにしている。 さらに, トレーニングデータの文法補正が検定基準値に正の効果があることが示唆された。 対処された発見と問題は、ソースコード質問応答ソリューションの品質を改善しようとする他の研究者にとって重要である可能性がある。 トレーニングと評価のコードはhttps://github.com/IU-AES-AI4Code/CodeQuestionAnsweringで公開されている。

関連論文リスト

• Lean Workbook: A large-scale Lean problem set formalized from natural language math problems [50.22847430754973]
  大規模な言語モデルは、リーンのような形式言語を使って証明する数学の定理が得意ではありません。 この領域で重要な課題は、これらの形式言語で利用可能なトレーニングデータの不足である。 本稿では,自然言語の数学的問題をリーン4文に変換するために,合成データを反復的に生成・フィルタリングするパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-06T08:25:43Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Enhancing Code Intelligence Tasks with ChatGPT [17.712126698173535]
  ChatGPTの生成したコメントは、人間の参照よりもコードに対するセマンティックな一貫性が優れていることを示している。 広く使われているデータセットであるCodeSearchNetを、ChatGPTで生成されたコメントで再構築します。 以上の結果から,ChatGPTによって事前訓練されたモデルは,コード要約,コード生成,コード翻訳タスクにおいて,そのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-23T09:01:08Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• CodeQA: A Question Answering Dataset for Source Code Comprehension [82.63394952538292]
  コードスニペットと質問が与えられたら、テキストによる回答を生成する必要がある。 CodeQAには、119,778の問合せペアを持つJavaデータセットと、70,085の問合せペアを持つPythonデータセットが含まれている。
  論文  参考訳（メタデータ） (2021-09-17T06:06:38Z)
• Program Synthesis with Large Language Models [40.41120807053989]
  我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
  論文  参考訳（メタデータ） (2021-08-16T03:57:30Z)
• Break-It-Fix-It: Unsupervised Learning for Program Repair [90.55497679266442]
  我々は2つの重要なアイデアを持つ新しいトレーニング手法であるBreak-It-Fix-It (BIFI)を提案する。 批判者は、実際の悪い入力でフィクスダーの出力をチェックし、トレーニングデータに良い(固定された)出力を追加する。 これらのアイデアに基づいて、よりペア化されたデータを生成するために、ブレーカとフィクスチャを同時に使用しながら、繰り返し更新する。 BIFIは既存のメソッドより優れており、GitHub-Pythonで90.5%、DeepFixで71.7%の修正精度がある。
  論文  参考訳（メタデータ） (2021-06-11T20:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。