論文の概要: Fair Algorithms for Hierarchical Agglomerative Clustering
- arxiv url: http://arxiv.org/abs/2005.03197v4
- Date: Mon, 31 Jul 2023 03:46:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 18:45:54.543239
- Title: Fair Algorithms for Hierarchical Agglomerative Clustering
- Title(参考訳): 階層的クラスタリングのための公正アルゴリズム
- Authors: Anshuman Chhabra, Prasant Mohapatra
- Abstract要約: Hierarchical Agglomerative Clustering (HAC)アルゴリズムは、現代のデータサイエンスで広く利用されている。
たとえデータセットが特定の保護されたグループに対するバイアスを含むとしても、これらのアルゴリズムが公平であることを保証することが不可欠である。
公平性制約を強制するHACを行うための公正アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 17.66340013352806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical Agglomerative Clustering (HAC) algorithms are extensively
utilized in modern data science, and seek to partition the dataset into
clusters while generating a hierarchical relationship between the data samples.
HAC algorithms are employed in many applications, such as biology, natural
language processing, and recommender systems. Thus, it is imperative to ensure
that these algorithms are fair -- even if the dataset contains biases against
certain protected groups, the cluster outputs generated should not discriminate
against samples from any of these groups. However, recent work in clustering
fairness has mostly focused on center-based clustering algorithms, such as
k-median and k-means clustering. In this paper, we propose fair algorithms for
performing HAC that enforce fairness constraints 1) irrespective of the
distance linkage criteria used, 2) generalize to any natural measures of
clustering fairness for HAC, 3) work for multiple protected groups, and 4) have
competitive running times to vanilla HAC. Through extensive experiments on
multiple real-world UCI datasets, we show that our proposed algorithm finds
fairer clusterings compared to vanilla HAC as well as other state-of-the-art
fair clustering approaches.
- Abstract(参考訳): 階層的集約クラスタリング(HAC)アルゴリズムは、現代のデータサイエンスで広く利用されており、データセットをクラスタに分割し、データサンプル間の階層的関係を生成する。
HACアルゴリズムは、生物学、自然言語処理、レコメンダシステムなど、多くのアプリケーションで採用されている。
したがって、たとえデータセットが特定の保護されたグループに対するバイアスを含んでいても、生成されたクラスタ出力はこれらのグループからのサンプルと区別してはならない。
しかしながら、近年のクラスタリングフェアネスの研究は、主にk-medianやk-meansクラスタリングのようなセンターベースのクラスタリングアルゴリズムに焦点を当てている。
本稿では,公平性制約を強制するHACを実現するためのフェアアルゴリズムを提案する。
1) 使用した距離リンク基準にかかわらず
2)HACのクラスタリング公正性の自然な尺度を一般化する。
3) 複数の保護団体のために働き、
4)バニラHACと競合するランニング時間を持つ。
複数の実世界のUCIデータセットに関する広範な実験を通して、提案アルゴリズムは、バニラHACや最先端のフェアクラスタリングアプローチと比較して、より公平なクラスタリングを見つける。
関連論文リスト
- Dynamically Weighted Federated k-Means [0.0]
フェデレートされたクラスタリングにより、複数のデータソースが協力してデータをクラスタリングし、分散化とプライバシ保護を維持できる。
我々は,ロイドのk-meansクラスタリング法に基づいて,動的に重み付けされたk-means (DWF k-means) という新しいクラスタリングアルゴリズムを提案する。
我々は、クラスタリングスコア、精度、およびv尺度の観点から、アルゴリズムの性能を評価するために、複数のデータセットとデータ分散設定の実験を行う。
論文 参考訳(メタデータ) (2023-10-23T12:28:21Z) - Privacy-preserving Continual Federated Clustering via Adaptive Resonance
Theory [11.190614418770558]
クラスタリング領域では、フェデレーション学習フレームワーク(フェデレーションクラスタリング)を用いた様々なアルゴリズムが活発に研究されている。
本稿では,プライバシ保護型継続フェデレーションクラスタリングアルゴリズムを提案する。
合成および実世界のデータセットによる実験結果から,提案アルゴリズムはクラスタリング性能が優れていることが示された。
論文 参考訳(メタデータ) (2023-09-07T05:45:47Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳(メタデータ) (2023-06-18T08:46:06Z) - Cluster-level Group Representativity Fairness in $k$-means Clustering [3.420467786581458]
クラスタリングアルゴリズムは、異なるグループが異なるクラスタ内で不利になるようにクラスタを生成することができる。
我々は,古典的アルゴリズムに先駆けて,セントロイドクラスタリングパラダイムに基づくクラスタリングアルゴリズムを開発した。
本手法はクラスタレベルの表現性フェアネスを,クラスタのコヒーレンスに低い影響で向上させるのに有効であることを示す。
論文 参考訳(メタデータ) (2022-12-29T22:02:28Z) - Fair Labeled Clustering [28.297893914525517]
クラスタリングのダウンストリーム適用と,そのような設定に対してグループフェアネスをどのように確保するかを検討する。
このような問題に対するアルゴリズムを提供し、グループフェアクラスタリングにおけるNPハードのアルゴリズムとは対照的に、効率的な解が可能であることを示す。
また、距離空間における中心位置に関係なく、意思決定者が自由にクラスタにラベルを割り当てることができるような、モチベーションのよい代替設定についても検討する。
論文 参考訳(メタデータ) (2022-05-28T07:07:12Z) - Robust Trimmed k-means [70.88503833248159]
本稿では,外乱点とクラスタポイントを同時に識別するRobust Trimmed k-means (RTKM)を提案する。
RTKMは他の方法と競合することを示す。
論文 参考訳(メタデータ) (2021-08-16T15:49:40Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Fair Clustering Using Antidote Data [35.40427659749882]
クラスタリングにおける公正性に対する代替的アプローチとして,アンチドテデータと呼ばれる少数のデータポイントで元のデータセットを拡大する手法を提案する。
我々のアルゴリズムは、他の最先端のフェアクラスタリングアルゴリズムと比較して、フェアネスコストと競合クラスタリング性能を低くする。
論文 参考訳(メタデータ) (2021-06-01T16:07:52Z) - Determinantal consensus clustering [77.34726150561087]
本稿では,クラスタリングアルゴリズムのランダム再起動における決定点プロセス (DPP) の利用を提案する。
DPPは部分集合内の中心点の多様性を好んでいる。
DPPとは対照的に、この手法は多様性の確保と、すべてのデータフェースについて良好なカバレッジを得るために失敗することを示す。
論文 参考訳(メタデータ) (2021-02-07T23:48:24Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳(メタデータ) (2020-10-22T15:58:35Z) - Fair Hierarchical Clustering [92.03780518164108]
従来のクラスタリングにおける過剰表現を緩和する公平性の概念を定義する。
我々のアルゴリズムは、目的に対して無視できない損失しか持たない、公平な階層的なクラスタリングを見つけることができることを示す。
論文 参考訳(メタデータ) (2020-06-18T01:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。