論文の概要: The Impact of Input Order Bias on Large Language Models for Software Fault Localization

• arxiv url: http://arxiv.org/abs/2412.18750v2
• Date: Wed, 19 Mar 2025 16:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:21:28.547692
• Title: The Impact of Input Order Bias on Large Language Models for Software Fault Localization
• Title（参考訳）: 入力順序バイアスがソフトウェア故障位置推定のための大規模言語モデルに及ぼす影響
• Authors: Md Nakhla Rafi, Dong Jae Kim, Tse-Hsun Chen, Shaowei Wang,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて大きな可能性を示しています。 本研究では,入力順序と文脈サイズがLLM性能に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 8.22737389683156
• License:
• Abstract: Large Language Models (LLMs) have shown significant potential in software engineering tasks such as Fault Localization (FL) and Automatic Program Repair (APR). This study investigates how input order and context size influence LLM performance in FL, a crucial step for many downstream software engineering tasks. We evaluate different method orderings using Kendall Tau distances, including "perfect" (where ground truths appear first) and "worst" (where ground truths appear last), across two benchmarks containing Java and Python projects. Our results reveal a strong order bias: in Java projects, Top-1 FL accuracy drops from 57% to 20% when reversing the order, while in Python projects, it decreases from 38% to approximately 3%. However, segmenting inputs into smaller contexts mitigates this bias, reducing the performance gap in FL from 22% and 6% to just 1% across both benchmarks. We replaced method names with semantically meaningful alternatives to determine whether this bias is due to data leakage. The observed trends remained consistent, suggesting that the bias is not caused by memorization from training data but rather by the inherent effect of input order. Additionally, we explored ordering methods based on traditional FL techniques and metrics, finding that DepGraph's ranking achieves 48% Top-1 accuracy, outperforming simpler approaches such as CallGraph(DFS). These findings highlight the importance of structuring inputs, managing context effectively, and selecting appropriate ordering strategies to enhance LLM performance in FL and other software engineering applications.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、フォールトローカライゼーション (FL) や自動プログラム修復 (APR) といったソフトウェア工学のタスクにおいて大きな可能性を示している。 本研究では,入力順序とコンテキストサイズがFLのLLM性能に与える影響について検討する。 我々は、Java と Python プロジェクトを含む2つのベンチマークにおいて、Kendall Tau 距離(基底真理が最初に現れる)と "Worst"(基底真理が最後に現れる)を含む異なるメソッド順序付けを評価した。 Javaプロジェクトでは、Top-1 FLの精度が57%から20%に低下しますが、Pythonプロジェクトでは38%から約3%に低下します。 しかし、入力を小さなコンテキストに分割することでこのバイアスを緩和し、FLのパフォーマンスギャップを22%から6%に減らし、両方のベンチマークで1%に減らした。 我々は、このバイアスがデータ漏洩によるものかどうかを判断するために、メソッド名を意味論的に意味のある代替品に置き換えた。 観察された傾向は一貫しており、バイアスはトレーニングデータからの記憶によるものではなく、入力順序の固有の影響によるものであることが示唆された。 さらに,従来のFL技術とメトリクスに基づく順序付け手法について検討し,DepGraphのランク付けが48%のTop-1精度を実現し,CallGraph(DFS)などの単純なアプローチよりも優れた結果を得た。 これらの知見は、FLや他のソフトウェア工学アプリケーションにおけるLLM性能を高めるために、入力を構造化し、コンテキストを効果的に管理し、適切な順序付け戦略を選択することの重要性を強調している。

関連論文リスト

• PromptOptMe: Error-Aware Prompt Compression for LLM-based MT Evaluation Metrics [21.23509339665165]
  提案手法は,より小型の微調整言語モデルを用いて,評価プロンプトの入力データを圧縮するプロンプト最適化手法である。 評価品質を損なうことなくトークン使用率を2.37倍に削減できることを示す。
  論文  参考訳（メタデータ） (2024-12-20T18:08:02Z)
• Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
  大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。 LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。 以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• Impact of Large Language Models of Code on Fault Localization [2.936007114555107]
  本稿では,FLタスクのための大規模言語モデルの微調整のための,単純だが効果的なシーケンス生成手法を提案する。 具体的には、FLタスク用の代表エンコーダ、エンコーダデコーダ、デコーダベースの13のLLMCを微調整する。 実験結果から, LLMCは50.6%, 64.2%, 72.3%の誤差位置を検出できた。
  論文  参考訳（メタデータ） (2024-08-19T02:36:07Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Revisiting Unnaturalness for Automated Program Repair in the Era of Large Language Models [9.454475517867817]
  本研究では,テンプレートベースの補修技術の効率化を目的としたパッチ自然度測定,エントロピーデルタを提案する。 提案手法は,最先端の機械学習ツールよりも効果的に正パッチをランク付けできる。
  論文  参考訳（メタデータ） (2024-04-23T17:12:45Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Large Language Models for Test-Free Fault Localization [11.080712737595174]
  テストカバレッジ情報なしでバグの行を特定できる言語モデルに基づくフォールトローカライズ手法を提案する。 5億5000万、60億、160億のパラメータを持つ言語モデルを、手作業でキュレートされた小さなプログラムコーパスで微調整します。 実験により、LLMAOは最先端の機械学習フォールトローカライゼーション(MLFL)ベースラインを2.3%-54.4%改善し、トップ5の結果を14.4%-35.6%改善した。
  論文  参考訳（メタデータ） (2023-10-03T01:26:39Z)
• GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
  本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。 GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
  論文  参考訳（メタデータ） (2023-05-24T09:16:51Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。