論文の概要: Contexts Matter: An Empirical Study on Contextual Influence in Fairness Testing for Deep Learning Systems
- arxiv url: http://arxiv.org/abs/2408.06102v1
- Date: Mon, 12 Aug 2024 12:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:13:27.400010
- Title: Contexts Matter: An Empirical Study on Contextual Influence in Fairness Testing for Deep Learning Systems
- Title（参考訳）: 文脈が重要である: 深層学習システムにおけるフェアネステストにおける文脈的影響に関する実証的研究
- Authors: Chengwen Du, Tao Chen,
- Abstract要約: さまざまなコンテキストが公平性テストの結果にどのように影響するかを理解することを目的としている。
私たちの結果は、異なるコンテキストタイプと設定が一般的にテストに重大な影響を与えることを示しています。
- 参考スコア（独自算出の注目度）: 3.077531983369872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Fairness testing for deep learning systems has been becoming increasingly important. However, much work assumes perfect context and conditions from the other parts: well-tuned hyperparameters for accuracy; rectified bias in data, and mitigated bias in the labeling. Yet, these are often difficult to achieve in practice due to their resource-/labour-intensive nature. Aims: In this paper, we aim to understand how varying contexts affect fairness testing outcomes. Method:We conduct an extensive empirical study, which covers $10,800$ cases, to investigate how contexts can change the fairness testing result at the model level against the existing assumptions. We also study why the outcomes were observed from the lens of correlation/fitness landscape analysis. Results: Our results show that different context types and settings generally lead to a significant impact on the testing, which is mainly caused by the shifts of the fitness landscape under varying contexts. Conclusions: Our findings provide key insights for practitioners to evaluate the test generators and hint at future research directions.
- Abstract（参考訳）: 背景: ディープラーニングシステムの公平性テストはますます重要になっている。
しかしながら、多くの作業は、正確性のための十分に調整されたハイパーパラメータ、データの修正されたバイアス、ラベル付けにおける緩和されたバイアスなど、他の部分からの完全なコンテキストと条件を前提としている。
しかし、これらはリソースや作業集約的な性質のため、実際は達成が難しいことが多い。
Aims: この論文では、さまざまなコンテキストがフェアネステストの結果にどのように影響するかを理解することを目的としています。
方法:我々は10,800ドルのケースをカバーする広範な実証的研究を行い、既存の仮定に対してモデルレベルでの公平性テスト結果をどのように変更できるかを調査した。
また,相関・適合性ランドスケープ解析のレンズから結果が得られた理由についても検討した。
結果: コンテクストの異なるタイプや設定がテストに大きく影響することを示し, 主に異なるコンテキスト下でのフィットネスランドスケープの変化が原因である。
結論: この知見は, 実践者がテストジェネレータを評価し, 今後の研究方向性を示唆する上で重要な知見となる。
関連論文リスト
- Fairness Evaluation with Item Response Theory [10.871079276188649]
本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。
項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。
公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
論文 参考訳（メタデータ） (2024-10-20T22:25:20Z) - Rethinking Fair Representation Learning for Performance-Sensitive Tasks [19.40265690963578]
因果推論を用いて、データセットバイアスの異なるソースを定義し、定式化する。
我々は、分布シフト下での公正表現学習の性能を調べるために、様々な医学的モダリティにまたがる実験を行う。
論文 参考訳（メタデータ） (2024-10-05T11:01:16Z) - Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。
我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。
本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
論文 参考訳（メタデータ） (2024-09-25T20:00:23Z) - Practical Guide for Causal Pathways and Sub-group Disparity Analysis [1.8974791957167259]
我々は因果不均質分析を用いて、感度特性と結果の間の因果関係を定量化し、検証する。
当社の2段階の調査は、レースがセンシティブな属性として機能するデータセットに焦点を当てています。
本研究は,ML分類誤差が最も大きい部分群が,最も影響を受けやすい部分群であることが実証された。
論文 参考訳（メタデータ） (2024-07-02T22:51:01Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event
Data [83.50281440043241]
時系列データから不均一な処理効果を推定する問題について検討する。
本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
論文 参考訳（メタデータ） (2021-10-26T20:13:17Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。