論文の概要: KL Divergence Estimation with Multi-group Attribution
- arxiv url: http://arxiv.org/abs/2202.13576v1
- Date: Mon, 28 Feb 2022 06:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 06:22:21.610304
- Title: KL Divergence Estimation with Multi-group Attribution
- Title（参考訳）: マルチグループ属性を用いたKL分散推定
- Authors: Parikshit Gopalan, Nina Narodytska, Omer Reingold, Vatsal Sharan, Udi
Wieder
- Abstract要約: Kullback-Leibler (KL) の2つの分布間のばらつきを推定することは、機械学習と情報理論においてよく研究されている。
マルチグループフェアネスを考慮し、サブ人口の寄与を正確に反映したKL分散推定を求める。
- 参考スコア（独自算出の注目度）: 25.7757954754825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the Kullback-Leibler (KL) divergence between two distributions
given samples from them is well-studied in machine learning and information
theory. Motivated by considerations of multi-group fairness, we seek KL
divergence estimates that accurately reflect the contributions of
sub-populations to the overall divergence. We model the sub-populations coming
from a rich (possibly infinite) family $\mathcal{C}$ of overlapping subsets of
the domain. We propose the notion of multi-group attribution for $\mathcal{C}$,
which requires that the estimated divergence conditioned on every
sub-population in $\mathcal{C}$ satisfies some natural accuracy and fairness
desiderata, such as ensuring that sub-populations where the model predicts
significant divergence do diverge significantly in the two distributions. Our
main technical contribution is to show that multi-group attribution can be
derived from the recently introduced notion of multi-calibration for importance
weights [HKRR18, GRSW21]. We provide experimental evidence to support our
theoretical results, and show that multi-group attribution provides better KL
divergence estimates when conditioned on sub-populations than other popular
algorithms.
- Abstract（参考訳）: Kullback-Leibler(KL)の2つの分布間の分散を推定することは、機械学習と情報理論においてよく研究されている。
マルチグループフェアネスを考慮に入れたKL偏差推定法は,全体の偏差に対するサブ集団の寄与を正確に反映する。
我々は、領域の重複部分集合のリッチ(おそらく無限)族である$\mathcal{c}$から生じるサブ人口をモデル化する。
我々は、$\mathcal{C}$ に対する多群帰属の概念を提案し、これは、$\mathcal{C}$ のすべての部分群に対して推定された発散条件が、モデルが2つの分布において有意な発散を予想する部分群が有意に発散することを確実にするなど、ある自然な精度と公平なデシダタを満たすことを要求する。
我々の主な技術的貢献は、最近導入された重みに対する多重校正の概念(HKRR18, GRSW21]から多群属性を導出できることである。
理論的結果を支持する実験的なエビデンスを提示し, マルチグループ属性は, サブポピュレーションの条件が他の一般的なアルゴリズムよりも高いKL分散推定値を提供することを示した。
関連論文リスト
- Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications [37.349358118385155]
多様性の尺度は、深層学習において中心的な役割を担い、ますます不可欠になりつつある。
一般化コーシーシュワルツ発散(GCSD)と呼ばれる複数の分布に適した新しい測度を導入する。
論文 参考訳（メタデータ） (2024-05-07T07:07:44Z) - How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
グループ不均衡は経験的リスク最小化において既知の問題である。
本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2024-03-12T04:38:05Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Bandit Pareto Set Identification: the Fixed Budget Setting [12.326452468513228]
マルチアームバンディットモデルにおける純粋探索問題について検討する。
目的は、平均値が他の分布よりも均一に悪くない分布を特定することである。
論文 参考訳（メタデータ） (2023-11-07T13:43:18Z) - Understanding Contrastive Learning via Distributionally Robust
Optimization [29.202594242468678]
本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。
本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。
また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
論文 参考訳（メタデータ） (2023-10-17T07:32:59Z) - Reweighted Mixup for Subpopulation Shift [63.1315456651771]
サブポピュレーションシフトは、多くの実世界のアプリケーションに存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。
重要度再重み付けは、サブポピュレーションシフトを処理する古典的で効果的な方法である。
我々は、オーバーフィッティング問題を緩和するために、reweighted mixupと呼ばれるシンプルで実用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-09T03:44:50Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Unintended Selection: Persistent Qualification Rate Disparities and
Interventions [6.006936459950188]
機械学習におけるグループレベルの格差のダイナミクスについて検討する。
特に、人間の人工グループに固有の差異を仮定しないモデルを求めている。
我々は,非自明な平衡状態の集合に対して,サブポピュレーション間の資格率の差が無期限に持続可能であることを示す。
論文 参考訳（メタデータ） (2021-11-01T18:53:54Z) - Robust Learning of Optimal Auctions [84.13356290199603]
本研究では、入札者の評価値のサンプルを逆向きに破損させたり、逆向きに歪んだ分布から引き出すことができる場合に、サンプルから収益-最適マルチバイダオークションを学習する問題について検討する。
我々は,コルモゴロフ-スミルノフ距離における元の分布に対して$alpha$-closeの「全ての真の分布」に対して,収入がほぼ同時に最適であるメカニズムを学習できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T17:37:21Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。