論文の概要: BRQGen: Towards Adaptive Completeness Assessment and Follow-Up Question Generation for Bug Reports

• arxiv url: http://arxiv.org/abs/2610.15903v1
• Date: Sun, 11 Oct 2026 20:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:23:22.098634
• Title: BRQGen: Towards Adaptive Completeness Assessment and Follow-Up Question Generation for Bug Reports
• Title（参考訳）: BRQGen: バグレポートの適応的完全性評価とフォローアップ質問生成を目指して
• Abstract要約: 本稿では,バグレポートの欠落や曖昧な情報を識別し,対象とするフォローアップ質問を生成するフレームワークを提案する。 われわれはHome AssistantとBrave Browserから429件の未完成バグレポートを収集した。 BRQGen は 1,073 の続く質問のうち 35.4% (Qwen 3.8 Flash) から 51.8% (DeepSeek V4.1 Flash) をカバーした。
• 参考スコア（独自算出の注目度）: 1.3241176321860364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many bug reports lack the necessary information required to reproduce issues. In early studies, large language models have been employed to generate follow-up questions to enhance incomplete reports. However, they ask a fixed number of questions regardless of whether the report is incomplete. We propose BRQGen, an iterative framework that identifies missing or ambiguous information in bug reports and generates targeted follow-up questions, only if necessary. Reports with no identified gaps are classified as sufficient. When the author responds, BRQGen evaluates whether the answers provide the requested information and generates further questions for any exposed gaps. We curated a novel dataset of 429 incomplete bug reports from Home Assistant and Brave Browser, each containing at least one maintainer follow-up question. Each question is mapped to the author's answer and assigned a label indicating whether the requested information could have been provided directly through the issue template. Earlier maintainer requests were associated with author responses, whereas delayed requests were associated with no response. Among responding authors, requests within one hour received median replies after 0.52 hours in Home Assistant and 1.45 hours in Brave, versus 9.76 and 13.49 hours after four hours. BRQGen covered 35.4% (Qwen 3.8 Flash) to 51.8% (DeepSeek V4.1 Flash) of the 1,073 ground-truth follow-up questions. DeepSeek V4.1 Flash managed to ask 45.7% of all detailed questions and 63.9% of all generic questions. Gemini 3 Flash Preview reached the highest macro-F1 for completeness assessment of 49.3%, but with a post-hoc analysis by getting only the gaps with high severities, Qwen 3.8 Flash reaches 73.6% macro-F1 score. Completeness assessment improved when at least one identified gap had high severity, and nearly all ground-truth questions were captured within the first two iterations.
• Abstract（参考訳）: 多くのバグレポートには問題を再現するために必要な情報が欠けている。 初期の研究では、不完全なレポートを強化するために、フォローアップ質問を生成するために、大きな言語モデルが採用されてきた。 しかし、報告書が不完全かどうかに関わらず、一定数の質問を行う。 BRQGenは,バグレポートの欠落や曖昧な情報を識別し,必要な場合にのみ対象とするフォローアップ質問を生成する反復的フレームワークである。 特定されたギャップのない報告は、十分なものとして分類される。 著者が回答すると、BRQGenは回答が要求された情報を提供するかどうかを評価し、露出したギャップについてさらなる質問を生成する。 われわれは,Home AssistantとBrave Browserから429件の未完成バグレポートを収集し,それぞれに少なくとも1件のメンテナフォローアップ質問を収録した。 各質問は著者の回答にマッピングされ、要求された情報がイシューテンプレートから直接提供されるかどうかを示すラベルが割り当てられる。 以前のメンテナリクエストは作者のレスポンスに関連付けられていたが、遅延リクエストはレスポンスに関連付けられていなかった。 回答した著者の間では、1時間以内の要求はホームアシスタントで0.52時間、ブレーブで1.45時間、ブレーブで9.76時間、そして4時間後に13.49時間だった。 BRQGen は 1,073 の続く質問のうち 35.4% (Qwen 3.8 Flash) から 51.8% (DeepSeek V4.1 Flash) をカバーした。 DeepSeek V4.1 Flashは、詳細な質問の45.7%、一般的な質問の63.9%を何とか質問した。 Gemini 3 Flash Preview は 49.3% の完全性評価で最高マクロ F1 に達したが、高い重大さのギャップを埋めることによるポストホック分析により、Qwen 3.8 Flash は73.6% のマクロ F1 スコアに達した。 完全性評価は、少なくとも1つの特定されたギャップが深刻度が高い場合に改善され、最初の2回のイテレーションでほとんどすべての地味な質問が得られた。

関連論文リスト

• LLM-Guided Issue Generation from Uncovered Code Segments [2.9610847900970856]
  IssueSpecterは未発見のコードセグメントのバグを見つけ、優先順位付けされた実行可能なイシューレポートを自動的に生成する。 我々は、13のアクティブメンテナンスPythonプロジェクトでIssueSpecterを評価し、10,467のイシューレポートを生成した。
  論文  参考訳（メタデータ） (2026-04-28T21:10:53Z)
• I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
  我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。 GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。 ベンチマークとコードを公開して実験を再現します。
  論文  参考訳（メタデータ） (2024-07-24T17:59:07Z)
• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• BugMentor: Generating Answers to Follow-up Questions from Software Bug Reports using Structured Information Retrieval and Neural Text Generation [0.9298382208776371]
  本稿では,構造化情報検索とニューラルテキスト生成を組み合わせた新しい手法であるBugMentorを提案する。 提案手法は,過去のバグレポートから与えられたバグレポートを識別し,コンテキスト情報をキャプチャし,それを利用して回答を生成する。 我々は,最大72のBLEUスコアと最大92のセマンティック類似性を達成し,この手法が質問に対する理解と回答を得られることを示す。
  論文  参考訳（メタデータ） (2023-04-24T23:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。