論文の概要: The Forgotten Role of Search Queries in IR-based Bug Localization: An
Empirical Study
- arxiv url: http://arxiv.org/abs/2108.05341v1
- Date: Wed, 11 Aug 2021 17:37:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-12 14:00:35.551811
- Title: The Forgotten Role of Search Queries in IR-based Bug Localization: An
Empirical Study
- Title(参考訳): IRを用いたバグローカライゼーションにおける検索クエリーの役割--実証的研究
- Authors: Mohammad Masudur Rahman and Foutse Khomh and Shamima Yeasmin and
Chanchal K. Roy
- Abstract要約: 本稿では、IRベースのバグローカライゼーションにおける最先端のクエリ選択手法について批判的に検討する。
遺伝的アルゴリズムに基づく手法を用いて,2,320のバグレポートから最適に近い検索クエリを構築する。
動作可能なインサイトの適用により,非最適クエリのパフォーマンスが27%~34%向上したことを示す。
- 参考スコア(独自算出の注目度): 17.809196793565224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Being light-weight and cost-effective, IR-based approaches for bug
localization have shown promise in finding software bugs. However, the accuracy
of these approaches heavily depends on their used bug reports. A significant
number of bug reports contain only plain natural language texts. According to
existing studies, IR-based approaches cannot perform well when they use these
bug reports as search queries. On the other hand, there is a piece of recent
evidence that suggests that even these natural language-only reports contain
enough good keywords that could help localize the bugs successfully. On one
hand, these findings suggest that natural language-only bug reports might be a
sufficient source for good query keywords. On the other hand, they cast serious
doubt on the query selection practices in the IR-based bug localization. In
this article, we attempted to clear the sky on this aspect by conducting an
in-depth empirical study that critically examines the state-of-the-art query
selection practices in IR-based bug localization. In particular, we use a
dataset of 2,320 bug reports, employ ten existing approaches from the
literature, exploit the Genetic Algorithm-based approach to construct optimal,
near-optimal search queries from these bug reports, and then answer three
research questions. We confirmed that the state-of-the-art query construction
approaches are indeed not sufficient for constructing appropriate queries (for
bug localization) from certain natural language-only bug reports although they
contain such queries. We also demonstrate that optimal queries and non-optimal
queries chosen from bug report texts are significantly different in terms of
several keyword characteristics, which has led us to actionable insights.
Furthermore, we demonstrate 27%--34% improvement in the performance of
non-optimal queries through the application of our actionable insights to them.
- Abstract(参考訳): 軽量で費用効率のよいIRベースのバグローカライゼーションアプローチは、ソフトウェアのバグを見つける上で有望であることを示している。
しかし、これらのアプローチの精度は、使用中のバグレポートに大きく依存する。
多数のバグレポートには、プレーンな自然言語テキストのみが含まれている。
既存の研究によると、これらのバグレポートを検索クエリとして使用する場合、IRベースのアプローチはうまく機能しない。
一方で、これらの自然言語のみのレポートでさえ、バグのローカライズを成功させるのに役立つ十分な優れたキーワードを含んでいる、という最近の証拠もある。
これらの結果から,自然言語のみのバグレポートが,優れたクエリキーワードの十分な情報源である可能性が示唆された。
一方、IRベースのバグローカライゼーションにおけるクエリ選択の実践に深刻な疑問を呈している。
本稿では、IRベースのバグローカライゼーションにおける最先端のクエリ選択の実践を批判的に検証する、詳細な実証研究を行うことにより、この側面の空をクリアしようと試みた。
特に、2,320のバグレポートのデータセットを使用し、文献からの10の既存アプローチを採用し、遺伝的アルゴリズムに基づくアプローチを利用して、これらのバグレポートから最適に近い検索クエリを構築し、3つの研究質問に答える。
我々は、特定の自然言語のみのバグレポートから適切なクエリ(バグローカライズ)を構築するには、最先端のクエリ構築アプローチが不十分であることを確認した。
また,バグレポートテキストから選択した最適クエリと最適でないクエリは,いくつかのキーワードの特徴から大きく異なることが示され,実用的な洞察が得られた。
さらに,動作可能な洞察を応用することで,非最適クエリの性能を27%~34%向上させることを示す。
関連論文リスト
- See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。
得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文 参考訳(メタデータ) (2023-12-13T18:58:04Z) - On Using GUI Interaction Data to Improve Text Retrieval-based Bug
Localization [10.717184444794505]
エンドユーザー向けアプリケーションでは、バグレポート内の情報とGUIの情報とを結びつけることにより、既存のバグローカライゼーション技術を改善することができるという仮説を考察する。
当社は,Androidアプリの完全ローカライズおよび再現可能な真のバグに関する現在の最大のデータセットを,対応するバグレポートとともに公開しています。
論文 参考訳(メタデータ) (2023-10-12T07:14:22Z) - Making Retrieval-Augmented Language Models Robust to Irrelevant Context [60.70054129188434]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳(メタデータ) (2023-10-02T18:52:35Z) - Cupid: Leveraging ChatGPT for More Accurate Duplicate Bug Report
Detection [12.440597259254286]
本稿では,従来のDBRD手法のREPと最先端の大規模言語モデルChatGPTを組み合わせたCupidという手法を提案する。
実験の結果、Cupidは新たな最先端の結果を達成し、分析されたすべてのデータセットに対して、Recall Rate@10スコアが0.59から0.67まで到達した。
論文 参考訳(メタデータ) (2023-08-19T14:16:30Z) - A Comparative Study of Text Embedding Models for Semantic Text
Similarity in Bug Reports [0.0]
既存のデータベースから同様のバグレポートを取得することは、バグを解決するのに必要な時間と労力を削減するのに役立つ。
我々はTF-IDF(Baseline)、FastText、Gensim、BERT、ADAなどの埋め込みモデルについて検討した。
本研究は, 類似のバグレポートを検索するための埋め込み手法の有効性について考察し, 適切なバグレポートを選択することの影響を明らかにする。
論文 参考訳(メタデータ) (2023-08-17T21:36:56Z) - Recommending Bug Assignment Approaches for Individual Bug Reports: An
Empirical Investigation [8.186068333538893]
バグレポートに対処できる潜在的な開発者を自動的に推薦する複数のアプローチが提案されている。
これらのアプローチは一般的に、あらゆるソフトウェアプロジェクトに提出されたバグレポートに対して機能するように設計されています。
2つのオープンソースシステムから2,249件のバグレポートに適用した3つのバグ割り当て手法を用いて,この推測を検証する実験的検討を行った。
論文 参考訳(メタデータ) (2023-05-29T23:02:56Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳(メタデータ) (2022-12-19T11:26:23Z) - Auto-labelling of Bug Report using Natural Language Processing [0.0]
ルールとクエリベースのソリューションは、明確なランキングのない、潜在的な類似バグレポートの長いリストを推奨します。
本論文では,NLP手法の組み合わせによる解を提案する。
カスタムデータトランスフォーマー、ディープニューラルネットワーク、および非汎用機械学習メソッドを使用して、既存の同一バグレポートを検索する。
論文 参考訳(メタデータ) (2022-12-13T02:32:42Z) - Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。
このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
論文 参考訳(メタデータ) (2022-11-11T16:37:33Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳(メタデータ) (2022-07-21T20:17:53Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳(メタデータ) (2021-04-17T21:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。