論文の概要: Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization?
- arxiv url: http://arxiv.org/abs/2211.13972v1
- Date: Fri, 25 Nov 2022 09:33:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 14:24:01.285564
- Title: Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization?
- Title(参考訳): 同じ人を選ぶ:アルゴリズムのモノカルチャーは均質化につながるか?
- Authors: Rishi Bommasani, Kathleen A. Creel, Ananya Kumar, Dan Jurafsky, Percy
Liang
- Abstract要約: 機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。
意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。
我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。
結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
- 参考スコア(独自算出の注目度): 90.35044668396591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the scope of machine learning broadens, we observe a recurring theme of
algorithmic monoculture: the same systems, or systems that share components
(e.g. training data), are deployed by multiple decision-makers. While sharing
offers clear advantages (e.g. amortizing costs), does it bear risks? We
introduce and formalize one such risk, outcome homogenization: the extent to
which particular individuals or groups experience negative outcomes from all
decision-makers. If the same individuals or groups exclusively experience
undesirable outcomes, this may institutionalize systemic exclusion and
reinscribe social hierarchy. To relate algorithmic monoculture and outcome
homogenization, we propose the component-sharing hypothesis: if decision-makers
share components like training data or specific models, then they will produce
more homogeneous outcomes. We test this hypothesis on algorithmic fairness
benchmarks, demonstrating that sharing training data reliably exacerbates
homogenization, with individual-level effects generally exceeding group-level
effects. Further, given the dominant paradigm in AI of foundation models, i.e.
models that can be adapted for myriad downstream tasks, we test whether model
sharing homogenizes outcomes across tasks. We observe mixed results: we find
that for both vision and language settings, the specific methods for adapting a
foundation model significantly influence the degree of outcome homogenization.
We conclude with philosophical analyses of and societal challenges for outcome
homogenization, with an eye towards implications for deployed machine learning
systems.
- Abstract(参考訳): 機械学習のスコープが広がるにつれて、同じシステムやコンポーネントを共有するシステム(トレーニングデータなど)が複数の意思決定者によってデプロイされるという、アルゴリズムによるモノカルチャーの繰り返しテーマが観察される。
共有は明確な利点(例えばコストの償却)を提供するが、リスクはあるか?
我々は、特定の個人やグループがすべての意思決定者から負の結果を経験する程度という、そのようなリスク、結果の均質化を導入する。
同じ個人やグループが好ましくない結果のみを経験すれば、制度的な排除を制度化し、社会的階層を登録することができる。
アルゴリズムによるモノカルチャーと結果のホモジェナイゼーションを関連付けるため,意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば,より均一な結果が得られるという,コンポーネント共有仮説を提案する。
この仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有が、グループレベルの効果を概して上回り、均質化を確実に悪化させることを示した。
さらに、ファンデーションモデルのAIにおける支配的なパラダイム、すなわち、無数の下流タスクに適応可能なモデルを考えると、モデルの共有はタスク間の結果を均質化するかどうかをテストする。
視覚と言語の設定の両方において、基礎モデルを適用するための特定の方法が結果の均質化の度合いに大きく影響することを発見した。
結果均質化のための哲学的分析と社会的な課題を、デプロイされた機械学習システムに影響を及ぼすことに着目して結論付ける。
関連論文リスト
- Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。
現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文 参考訳(メタデータ) (2024-05-26T13:11:55Z) - Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。
デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。
これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
論文 参考訳(メタデータ) (2023-07-12T01:11:52Z) - On The Impact of Machine Learning Randomness on Group Fairness [11.747264308336012]
ニューラルネットワークのトレーニングにおけるランダム性の異なる源の群フェアネスへの影響について検討する。
グループフェアネス尺度のばらつきは、非表現群における学習過程の高ボラティリティに根ざしていることを示す。
一つのエポックに対してデータ順序を変更するだけで、モデル全体の性能に高い効率と無視可能な影響でグループレベルの精度を制御できることを示す。
論文 参考訳(メタデータ) (2023-07-09T09:36:31Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T10:49:49Z) - MultiFair: Multi-Group Fairness in Machine Learning [52.24956510371455]
機械学習におけるマルチグループフェアネスの研究(MultiFair)
この問題を解決するために,汎用的なエンドツーエンドのアルゴリズムフレームワークを提案する。
提案するフレームワークは多くの異なる設定に一般化可能である。
論文 参考訳(メタデータ) (2021-05-24T02:30:22Z) - Recommendations for Bayesian hierarchical model specifications for
case-control studies in mental health [0.0]
研究者は、すべての被験者が共通の集団から引き出されたと仮定するか、またはそれらを別の集団から派生したものとしてモデル化するかを選択する必要がある。
一般的に使用される帯域幅タスクから合成多群行動データに対する系統シミュレーションを行った。
適合群は,全ての条件において,最も正確かつ堅牢な推論を別々に提供した。
論文 参考訳(メタデータ) (2020-11-03T14:19:59Z) - Interpretable Assessment of Fairness During Model Evaluation [1.2183405753834562]
本稿では,階層的クラスタリングアルゴリズムを導入し,各サブ集団におけるユーザ間の不均一性を検出する。
本稿では,LinkedInの実際のデータに対して,アルゴリズムの性能を示す。
論文 参考訳(メタデータ) (2020-10-26T02:31:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。