論文の概要: Toward Automatic Group Membership Annotation for Group Fairness Evaluation
- arxiv url: http://arxiv.org/abs/2407.08926v1
- Date: Fri, 12 Jul 2024 02:19:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 19:46:00.350836
- Title: Toward Automatic Group Membership Annotation for Group Fairness Evaluation
- Title（参考訳）: グループフェアネス評価のためのグループメンバシップ自動アノテーションの実現に向けて
- Authors: Fumian Chen, Dayu Yang, Hui Fang,
- Abstract要約: 本研究では,グループフェアネス評価のためのグループメンバーシップの自動アノテートに言語モデルを活用する方法について検討する。
GPT や Mistral といった最先端の大規模言語モデルよりも,BERT ベースのモデルの方が優れた結果が得られた。
提案手法は,人間の努力を大幅に減らし,フェアネスを意識した研究のフロンティアをより多くのデータセットに拡張する。
- 参考スコア（独自算出の注目度）: 1.652907918484303
- License:
- Abstract: With the increasing research attention on fairness in information retrieval systems, more and more fairness-aware algorithms have been proposed to ensure fairness for a sustainable and healthy retrieval ecosystem. However, as the most adopted measurement of fairness-aware algorithms, group fairness evaluation metrics, require group membership information that needs massive human annotations and is barely available for general information retrieval datasets. This data sparsity significantly impedes the development of fairness-aware information retrieval studies. Hence, a practical, scalable, low-cost group membership annotation method is needed to assist or replace human annotations. This study explored how to leverage language models to automatically annotate group membership for group fairness evaluations, focusing on annotation accuracy and its impact. Our experimental results show that BERT-based models outperformed state-of-the-art large language models, including GPT and Mistral, achieving promising annotation accuracy with minimal supervision in recent fair-ranking datasets. Our impact-oriented evaluations reveal that minimal annotation error will not degrade the effectiveness and robustness of group fairness evaluation. The proposed annotation method reduces tremendous human efforts and expands the frontier of fairness-aware studies to more datasets.
- Abstract（参考訳）: 情報検索システムにおける公正性に対する研究の注目が高まるにつれ、持続的で健全な検索エコシステムの公平性を確保するために、ますます公正性に配慮したアルゴリズムが提案されている。
しかしながら、フェアネスを意識したアルゴリズムの最も一般的な測定方法として、グループフェアネス評価指標は、大規模な人間のアノテーションを必要とするグループメンバーシップ情報を必要とし、一般的な情報検索データセットではほとんど利用できない。
この空間性は、公正な情報検索研究の発展を著しく阻害する。
したがって、人間のアノテーションを補助または置き換えるために、実用的でスケーラブルで低コストなグループメンバシップアノテーションが必要である。
本研究では,グループフェアネス評価におけるグループメンバーシップの自動アノテートに言語モデルを活用する方法について検討した。
実験の結果,BERTに基づくモデルは,GPTやMistralを含む最先端の大規模言語モデルよりも優れており,近年の公正なデータセットにおいて,最小限の監督を伴って有望なアノテーション精度を実現していることがわかった。
インパクト指向評価では、最小限のアノテーション誤差は、グループフェアネス評価の有効性とロバスト性を低下させない。
提案手法は,人間の努力を大幅に減らし,フェアネスを意識した研究のフロンティアをより多くのデータセットに拡張する。
関連論文リスト
- Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。
提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。
実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
論文 参考訳（メタデータ） (2024-06-17T21:45:48Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - Fair Active Learning in Low-Data Regimes [22.349886628823125]
機械学習の応用においては、社会的不平等の持続を避けるために公正性の確保が不可欠である。
本研究では,データスカース環境におけるバイアスの低減と精度向上という課題に対処する。
本稿では,後方サンプリングにインスパイアされた探索手法と,公平な分類サブルーチンを組み合わせた,革新的なアクティブラーニングフレームワークを提案する。
この枠組みは,確率の高い公正制約を満足しつつ,精度を最大化しながら,非常にデータ量の多い状況下で効果的に機能することが実証された。
論文 参考訳（メタデータ） (2023-12-13T23:14:55Z) - TIDE: Textual Identity Detection for Evaluating and Augmenting
Classification and Language Models [0.0]
機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。
分類器と言語モデルにおけるテキストの公平性を改善するためのアプローチと組み合わせたデータセットを提案する。
我々は、IDコンテキストの可用性向上に使用できるIDアノテーションと拡張ツールを開発するために、TIDALを活用している。
論文 参考訳（メタデータ） (2023-09-07T21:44:42Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2022-08-26T12:34:55Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2022-01-10T22:04:48Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:46Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z) - Fairness by Explicability and Adversarial SHAP Learning [0.0]
本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。
逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。
合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
論文 参考訳（メタデータ） (2020-03-11T14:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。