論文の概要: Noisy Issues, Noisy Results: Mislabeling in Information Retrieval-based Bug Localization
- arxiv url: http://arxiv.org/abs/2611.05314v1
- Date: Tue, 03 Nov 2026 18:22:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 12:59:05.295637
- Title: Noisy Issues, Noisy Results: Mislabeling in Information Retrieval-based Bug Localization
- Title（参考訳）: ノイズ問題, ノイズ結果:情報検索型バグローカライゼーションにおけるミスラベリング
- Abstract要約: 我々はIRBLベンチマークにおける誤ラベル問題の有効性と影響について,大規模な実証的研究を行った。
55,000以上のイシューレポートからなる5つのベンチマークデータセットを分析し、平均して34.82%のイシューが誤ってラベル付けされていることを発見した。
- 参考スコア（独自算出の注目度）: 9.253859461060726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information Retrieval-based Bug Localization (IRBL) leverages bug reports to identify faulty source files. Evaluations of IRBL approaches primarily rely on labeled issues from issue tracking systems. However, prior research has shown that issue labels are frequently incorrect in open-source projects, threatening the validity of IRBL evaluations. Existing studies have primarily examined traditional IRBL techniques on small datasets, overlooking modern approaches and the partial overlap between noisy and cleaned datasets. In this paper, we conduct a large-scale empirical study to investigate the prevalence and impact of mislabeled issues in IRBL benchmarks. We analyze five benchmark datasets comprising over 55,000 issue reports and find that, on average, 34.82% of issues are mislabeled. We further evaluate six IRBL techniques, spanning traditional, deep learning-based, and large language model-based approaches using the widely adopted Ye et al. benchmark and statistical methods that account for dataset overlap. Our results show that removing mislabeled issues from evaluation datasets significantly reduces measured performance across all six techniques, with Mean Reciprocal Rank decreasing by 4.68%-21.74%. Although mislabeling does not change the relative ranking of techniques, it affects the magnitude of their performance differences. These findings highlight the importance of reliable evaluation data for ensuring valid and meaningful comparisons of IRBL techniques.
- Abstract（参考訳）: Information Retrievalベースのバグローカライゼーション(IRBL)はバグレポートを活用して、欠陥のあるソースファイルを識別する。
IRBLアプローチの評価は、主に問題追跡システムからのラベル付き問題に依存する。
しかし、以前の研究では、イシューラベルはオープンソースプロジェクトではしばしば誤りであり、IRBL評価の有効性を脅かすことが示されている。
既存の研究では、従来のIRBLテクニックを小さなデータセットで検証し、現代的なアプローチとノイズの多いデータセットとクリーンなデータセットを部分的にオーバーラップした。
本稿では、IRBLベンチマークにおける誤ラベル問題の有効性と影響について、大規模な実証的研究を行う。
55,000以上のイシューレポートからなる5つのベンチマークデータセットを分析し、平均して34.82%のイシューが誤ってラベル付けされていることを発見した。
さらに、広く採用されているYe et alベンチマークとデータセットの重複を考慮した統計手法を用いて、従来型、ディープラーニングベース、および大規模言語モデルに基づく6つのIRBL手法を評価する。
評価データセットから不正ラベル付き問題を取り除くことで、6つのテクニックすべてで測定性能が大幅に低下し、平均相互ランクは4.68%-21.74%低下した。
誤ラベルはテクニックの相対的なランキングを変えるものではないが、パフォーマンスの違いの大きさに影響を与える。
これらの結果は、IRBL手法の有効かつ有意義な比較を確実にするための信頼性評価データの重要性を浮き彫りにした。
関連論文リスト
- All Claims Are Equal, but Some Claims Are More Equal Than Others: Importance-Sensitive Factuality Evaluation of LLM Generations [57.8036236269546]
大規模言語モデル(LLM)応答の事実性を評価する既存の手法は、全ての主張を同様に重要視している。
これにより、周辺情報と同一の重みを受けるため、バイタル情報が欠落したり、誤った場合の誤判定が生じる。
質問に対するクレームの関連性と重要性を組み込むことにより,応答の事実性を測定する上で,より高感度な指標であるVITALを紹介する。
論文 参考訳（メタデータ） (2025-10-08T14:40:33Z) - Improving IR-based Bug Localization with Semantics-Driven Query Reduction [0.9298382208776371]
我々は、バグレポートに対してソフトウェアバグをローカライズするための新しいアプローチであるIQLocを提案する。
我々は、トランスフォーマーベースのモデルのプログラム意味論的理解を活用して、コードの不確実性を推論する。
IQLocは、スタックトレースを持つバグレポートの91.67%、コード要素を含むバグレポートの72.73%、自然言語の記述のみを含むバグレポートの65.38%を改善する。
論文 参考訳（メタデータ） (2025-10-06T03:43:38Z) - FNBench: Benchmarking Robust Federated Learning against Noisy Labels [23.660857480962104]
本稿では,フェデレートラーニング(FL)における雑音ラベルに関する最初のベンチマーク研究について述べる。
本稿では, 合成ラベルノイズ, 不完全な人間のアノテーション誤り, 系統的誤りを含む3種類のラベルノイズパターンについて考察する。
評価には、5つの画像認識データセットと1つのテキスト分類データセットに18の最先端手法が組み込まれている。
論文 参考訳（メタデータ） (2025-05-10T16:14:52Z) - Improved IR-based Bug Localization with Intelligent Relevance Feedback [2.9312156642007294]
ソフトウェアバグは、開発とメンテナンスにおいて重大な課題となり、実践者は、バグを扱うのに約50%の時間を費やします。
既存の多くのテクニックでは、バグレポートとソースコードの間のテキストおよび意味的関連性を使用して、報告されたバグをローカライズするために、Information Retrieval (IR)を採用している。
本稿では,バグレポートとコードの関連性を評価することによって,コンテキストギャップに対処する新たなバグローカライゼーション手法であるBRaInを提案する。
論文 参考訳（メタデータ） (2025-01-17T20:29:38Z) - Robust Semi-Supervised Learning in Open Environments [51.741549825533816]
半教師付き学習(SSL)は、ラベルが不足しているときにラベルのないデータを活用することで、パフォーマンスを向上させることを目的としている。
不整合なラベル付きデータを利用すると、大幅な性能劣化が発生することが報告されている。
本稿では,SSLにおけるラベル,特徴,データ分散の不整合に関する技術に焦点をあて,この研究の展開を簡潔に紹介する。
論文 参考訳（メタデータ） (2024-12-24T08:13:01Z) - Beyond Confusion: A Fine-grained Dialectical Examination of Human Activity Recognition Benchmark Datasets [4.249657064343807]
HAR(Human Activity Recognition)のための機械学習アルゴリズムの研究は、公開データセットで大きく進歩した。
トランスフォーマーのような最近のモデルは、ベンチマーク指標から限られた成功を収めたHARデータセットに適用されている。
本稿では,6つの人気のあるHARベンチマークデータセットのきめ細かい検査を行うことで,これらのオープンな問題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-12-12T07:53:17Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - Too Good To Be True: performance overestimation in (re)current practices
for Human Activity Recognition [49.1574468325115]
データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。
この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。
異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
論文 参考訳（メタデータ） (2023-10-18T13:24:05Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。