論文の概要: From Efficiency to Equity: Measuring Fairness in Preference Learning
- arxiv url: http://arxiv.org/abs/2410.18841v1
- Date: Thu, 24 Oct 2024 15:25:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:51:04.574223
- Title: From Efficiency to Equity: Measuring Fairness in Preference Learning
- Title(参考訳): 効率性から等価性: 優先学習における公平性の測定
- Authors: Shreeyash Gowaikar, Hugo Berard, Rashid Mushkani, Shin Koseki,
- Abstract要約: 不平等とロウルシアン正義の経済理論に触発された嗜好学習モデルの公平性を評価する。
Gini Coefficient, Atkinson Index, Kuznets Ratio を用いて,これらのモデルの公平性を定量化するための指標を提案する。
- 参考スコア(独自算出の注目度): 3.2132738637761027
- License:
- Abstract: As AI systems, particularly generative models, increasingly influence decision-making, ensuring that they are able to fairly represent diverse human preferences becomes crucial. This paper introduces a novel framework for evaluating epistemic fairness in preference learning models inspired by economic theories of inequality and Rawlsian justice. We propose metrics adapted from the Gini Coefficient, Atkinson Index, and Kuznets Ratio to quantify fairness in these models. We validate our approach using two datasets: a custom visual preference dataset (AI-EDI-Space) and the Jester Jokes dataset. Our analysis reveals variations in model performance across users, highlighting potential epistemic injustices. We explore pre-processing and in-processing techniques to mitigate these inequalities, demonstrating a complex relationship between model efficiency and fairness. This work contributes to AI ethics by providing a framework for evaluating and improving epistemic fairness in preference learning models, offering insights for developing more inclusive AI systems in contexts where diverse human preferences are crucial.
- Abstract(参考訳): AIシステム、特に生成モデルが意思決定に影響を及ぼすにつれて、さまざまな人間の好みを適切に表現できることが重要になる。
本稿では、不平等とルールシアン正義の経済理論に触発された嗜好学習モデルにおける認識公正性を評価するための新しい枠組みを提案する。
Gini Coefficient, Atkinson Index, Kuznets Ratio を用いて,これらのモデルの公平性を定量化するための指標を提案する。
我々は2つのデータセット(AI-EDI-Space)とJester Jokesデータセット)を用いてアプローチを検証する。
分析の結果,ユーザ間でのモデル性能の変動が明らかとなり,潜在的てんかんの不正が明らかになった。
我々は、これらの不等式を軽減するための前処理および内処理技術について検討し、モデル効率と公平性の間の複雑な関係を示す。
この研究は、嗜好学習モデルにおける疫学フェアネスの評価と改善のためのフレームワークを提供することによって、AI倫理に貢献し、多様な人間の嗜好が不可欠である状況において、より包括的なAIシステムを開発するための洞察を提供する。
関連論文リスト
- Understanding trade-offs in classifier bias with quality-diversity optimization: an application to talent management [2.334978724544296]
公正なAIモデルを開発する上での大きな課題は、そのようなモデルをトレーニングする上で利用可能なデータのバイアスにある。
本稿では,データセットに固有のバイアスを可視化し,公平性と正確性の間の潜在的なトレードオフを理解する方法を提案する。
論文 参考訳(メタデータ) (2024-11-25T22:14:02Z) - FAIREDU: A Multiple Regression-Based Method for Enhancing Fairness in Machine Learning Models for Educational Applications [1.24497353837144]
本稿では,複数機能にまたがる公平性向上を目的とした,新規かつ効果的な手法であるFAIREDUを紹介する。
モデル性能を損なうことなく公平性を向上するためのFAIREDUの有効性を評価する。
その結果, FAIREDUは, 性別, 人種, 年齢, その他の繊細な特徴の交叉性に対処し, モデル精度に最小限の影響を伴って, 最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2024-10-08T23:29:24Z) - Aligning Vision Models with Human Aesthetics in Retrieval: Benchmarks and Algorithms [91.19304518033144]
検索システムにおける視覚モデルと人間の審美基準の整合を図る。
本研究では、視覚モデルと人間の美学をよりよく整合させるために、視覚モデルを微調整する嗜好に基づく強化学習手法を提案する。
論文 参考訳(メタデータ) (2024-06-13T17:59:20Z) - Enhancing Fairness in Neural Networks Using FairVIC [0.0]
自動意思決定システム、特にディープラーニングモデルにおけるバイアスの緩和は、公平性を達成する上で重要な課題である。
FairVICは、トレーニング段階で固有のバイアスに対処することによって、ニューラルネットワークの公平性を高めるために設計された革新的なアプローチである。
我々は、モデルの精度を有害な程度に向上させることなく、テスト対象のすべての指標の公平性を大幅に改善する。
論文 参考訳(メタデータ) (2024-04-28T10:10:21Z) - Fair Multivariate Adaptive Regression Splines for Ensuring Equity and
Transparency [1.124958340749622]
学習過程に公平度を組み込んだMARSに基づく公正度予測モデルを提案する。
MARSは、特徴選択を行い、非線形関係を扱い、解釈可能な決定ルールを生成し、変数の最適分割基準を導出する非パラメトリック回帰モデルである。
実世界のデータにfairMARSモデルを適用し、精度とエクイティの観点からその有効性を実証する。
論文 参考訳(メタデータ) (2024-02-23T19:02:24Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳(メタデータ) (2024-01-11T17:56:59Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Adaptive Contextual Perception: How to Generalize to New Backgrounds and
Ambiguous Objects [75.15563723169234]
本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。
1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。
生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
論文 参考訳(メタデータ) (2023-06-09T15:29:54Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳(メタデータ) (2023-03-15T07:13:54Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Fairness by Explicability and Adversarial SHAP Learning [0.0]
本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。
逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。
合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
論文 参考訳(メタデータ) (2020-03-11T14:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。