論文の概要: Efficient Fairness Testing in Large Language Models: Prioritizing Metamorphic Relations for Bias Detection

• arxiv url: http://arxiv.org/abs/2505.07870v1
• Date: Fri, 09 May 2025 17:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.241878
• Title: Efficient Fairness Testing in Large Language Models: Prioritizing Metamorphic Relations for Bias Detection
• Title（参考訳）: 大規模言語モデルにおける効率的なフェアネステスト:バイアス検出のための準同型関係の優先順位付け
• Authors: Suavis Giramata, Madhusudan Srinivasan, Venkat Naidu Gudivada, Upulee Kanewala,
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションにますますデプロイされ、アウトプットの公平性や潜在的なバイアスに関する重要な懸念を提起している。 本稿では, メタモルフィックテストにおけるメタモルフィック関係(MR)の優先順位付けを, LLM内の公平性問題を効率的に検出するための戦略として検討する。 文の多様性に基づく手法をMRの計算とランク付けに応用し、故障検出を最適化する。
• 参考スコア（独自算出の注目度）: 2.1786693199184346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in various applications, raising critical concerns about fairness and potential biases in their outputs. This paper explores the prioritization of metamorphic relations (MRs) in metamorphic testing as a strategy to efficiently detect fairness issues within LLMs. Given the exponential growth of possible test cases, exhaustive testing is impractical; therefore, prioritizing MRs based on their effectiveness in detecting fairness violations is crucial. We apply a sentence diversity-based approach to compute and rank MRs to optimize fault detection. Experimental results demonstrate that our proposed prioritization approach improves fault detection rates by 22% compared to random prioritization and 12% compared to distance-based prioritization, while reducing the time to the first failure by 15% and 8%, respectively. Furthermore, our approach performs within 5% of fault-based prioritization in effectiveness, while significantly reducing the computational cost associated with fault labeling. These results validate the effectiveness of diversity-based MR prioritization in enhancing fairness testing for LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションにますますデプロイされ、アウトプットの公平性や潜在的なバイアスに関する重要な懸念を提起している。 本稿では, メタモルフィックテストにおけるメタモルフィック関係(MR)の優先順位付けを, LLM内の公平性問題を効率的に検出するための戦略として検討する。 テストケースの指数的増加を考えると、徹底的なテストは非現実的であり、公平性違反を検出する上での有効性に基づいたMRの優先順位付けは不可欠である。 文の多様性に基づく手法をMRの計算とランク付けに応用し、故障検出を最適化する。 実験の結果,提案手法は, ランダム優先よりも22%, 距離優先よりも12%, 故障検出時間を15%, 8%削減できることがわかった。 さらに,本手法は,障害ラベル付けに伴う計算コストを大幅に削減しつつ,障害ベースの優先順位付けの有効性の5%以内で実行可能である。 これらの結果は,LLMの公平性テスト向上における多様性に基づくMR優先化の有効性を検証した。

関連論文リスト

• Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity [2.6749261270690434]
  オラクルは、実行されたテストケースのプログラムの出力が正しいかどうかを判定する。 機械学習プログラムでは、そのようなオラクルはしばしば利用できないか、適用できない。 MRの優先順位付けは、障害検出の有効性を高め、テスト効率を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T04:14:30Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• FAST: Boosting Uncertainty-based Test Prioritization Methods for Neural Networks via Feature Selection [29.20073572683383]
  本稿では,FeAture SelecTionをガイドとして,既存の優先順位付け手法を高速化するFASTを提案する。 FASTは、特定の機能がモデルの出力信頼度に影響を与えるノイズをもたらす可能性があるという洞察に基づいている。 モデルの正しい予測に対する各特徴の重要性を定量化し、ノイズのある特徴から動的に情報を抽出する。
  論文  参考訳（メタデータ） (2024-09-13T18:13:09Z)
• Electroencephalogram Emotion Recognition via AUC Maximization [0.0]
  不均衡データセットは神経科学、認知科学、医学診断などの分野で大きな課題を提起する。 本研究は,DEAPデータセットにおけるライキングラベルを例として,イシュークラスの不均衡に対処する。
  論文  参考訳（メタデータ） (2024-08-16T19:08:27Z)
• Metamorphic Relation Prioritization for Effective Regression Testing [11.033596835816422]
  本稿では, 回帰テストの効率と有効性を改善するために, メタモルフィック関係(MR)を優先する手法を提案する。 本稿では,(1)障害ベースと(2)カバレッジベースという2つのMR優先順位付け手法を提案する。 以上の結果から,フォールトベースMR優先化は,実行すべきソースおよびフォローアップテストケースの数を減少させる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-09-20T19:06:17Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。