論文の概要: Diversified Ensembling: An Experiment in Crowdsourced Machine Learning
- arxiv url: http://arxiv.org/abs/2402.10795v1
- Date: Fri, 16 Feb 2024 16:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 15:16:17.238941
- Title: Diversified Ensembling: An Experiment in Crowdsourced Machine Learning
- Title（参考訳）: diversified ensembling: クラウドソーシングによる機械学習の実験
- Authors: Ira Globus-Harris, Declan Harrison, Michael Kearns, Pietro Perona,
Aaron Roth
- Abstract要約: arXiv:2201.10408において、著者らは公正機械学習の文脈で代替のクラウドソーシングフレームワークを開発した。
46のチームが参加し,このフレームワークを中規模で実験的に評価した。
- 参考スコア（独自算出の注目度）: 18.192916651221882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Crowdsourced machine learning on competition platforms such as Kaggle is a
popular and often effective method for generating accurate models. Typically,
teams vie for the most accurate model, as measured by overall error on a
holdout set, and it is common towards the end of such competitions for teams at
the top of the leaderboard to ensemble or average their models outside the
platform mechanism to get the final, best global model. In arXiv:2201.10408,
the authors developed an alternative crowdsourcing framework in the context of
fair machine learning, in order to integrate community feedback into models
when subgroup unfairness is present and identifiable. There, unlike in
classical crowdsourced ML, participants deliberately specialize their efforts
by working on subproblems, such as demographic subgroups in the service of
fairness. Here, we take a broader perspective on this work: we note that within
this framework, participants may both specialize in the service of fairness and
simply to cater to their particular expertise (e.g., focusing on identifying
bird species in an image classification task). Unlike traditional
crowdsourcing, this allows for the diversification of participants' efforts and
may provide a participation mechanism to a larger range of individuals (e.g. a
machine learning novice who has insight into a specific fairness concern). We
present the first medium-scale experimental evaluation of this framework, with
46 participating teams attempting to generate models to predict income from
American Community Survey data. We provide an empirical analysis of teams'
approaches, and discuss the novel system architecture we developed. From here,
we give concrete guidance for how best to deploy such a framework.
- Abstract（参考訳）: Kaggleのような競合プラットフォーム上でクラウドソーシングされた機械学習は、正確なモデルを生成するために人気があり、しばしば効果的な方法である。
一般的に、チームはホールドアウトセットの全体的なエラーによって測定される最も正確なモデルを求めており、リーダーボードの上部にあるチームが、最終で最高のグローバルモデルを得るために、プラットフォームメカニズムの外側でモデルをアンサンブルまたは平均化するために、そのようなコンペティションの終わりに向かっている。
arXiv:2201.10408では、サブグループの不公平さの存在と識別が可能なモデルにコミュニティのフィードバックを統合するために、公正機械学習の文脈で代替のクラウドソーシングフレームワークを開発した。
古典的なクラウドソースのMLとは異なり、参加者はフェアネスのサービスにおいて、サブプロブレムに取り組むことで、意図的に努力を専門化している。
この枠組みでは、参加者は公正なサービスに特化しており、特定の専門知識(例えば、画像分類タスクにおける鳥類の種特定に焦点をあてるなど)にのみ対応できることに留意する。
従来のクラウドソーシングとは異なり、これは参加者の努力の多様化を可能にし、より広い範囲の個人(例えば、特定の公正性に関する洞察を持つ機械学習初心者)への参加メカニズムを提供する。
米国コミュニティ調査データから収入を予測するモデルを作成しようとする46の参加チームを対象に,このフレームワークを初めて中規模で実験的に評価した。
チームのアプローチを実証分析し、開発した新しいシステムアーキテクチャについて議論する。
ここから、このようなフレームワークのデプロイ方法に関する具体的なガイダンスを与えます。
関連論文リスト
- Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2023-08-30T07:16:11Z) - Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳（メタデータ） (2023-05-23T09:46:54Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - MultiModal Bias: Introducing a Framework for Stereotypical Bias
Assessment beyond Gender and Race in Vision Language Models [40.12132844347926]
MMBiasと呼ばれる視覚的およびテキスト的バイアスベンチマークを提供し、約3,800の画像と14のサブグループをカバーするフレーズからなる。
このデータセットを用いて、CLIP、ALBEF、VLTを含むいくつかの著名な自己監督型マルチモーダルモデルにおけるバイアスを評価する。
バイアスを緩和するための後処理ステップとして適用可能な,大規模な事前学習モデルに特化して設計されたデバイアス処理手法を提案する。
論文 参考訳（メタデータ） (2023-03-16T17:36:37Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳（メタデータ） (2023-03-15T07:13:54Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳（メタデータ） (2022-01-17T10:49:49Z) - Blackbox Post-Processing for Multiclass Fairness [1.5305403478254664]
我々は,マルチクラス設定における公平性を達成するため,ブラックボックス機械学習分類器の予測を変更することを検討する。
我々は,系統的な合成実験を通じて,公正かつ正確な予測を行う方法を探究する。
全体として、我々の手法は精度の小さな低下を生じさせ、データセットの個体数が高い場合に公平さを強制する。
論文 参考訳（メタデータ） (2022-01-12T13:21:20Z) - Toward Annotator Group Bias in Crowdsourcing [26.754873038110595]
また,同集団内のアノテータは,アノテーションタスクにおいて一貫したグループバイアスを呈する傾向にあることを示した。
我々は、新しい拡張期待最大化(EM)トレーニングアルゴリズムを用いて、アノテータ群バイアスを捕捉する新しい確率的グラフィカルフレームワークGroupAnnoを開発した。
論文 参考訳（メタデータ） (2021-10-08T05:54:36Z) - Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-02-25T17:08:39Z) - FairALM: Augmented Lagrangian Method for Training Fair Models with
Little Regret [42.66567001275493]
現在、我々がモデルに提示するデータセットのバイアスのため、公正な公開トレーニングが不公平なモデルにつながることは受け入れられている。
そこで本研究では,モデルのトレーニング中に公平性を同時に課すメカニズムについて検討する。
論文 参考訳（メタデータ） (2020-04-03T03:18:53Z) - Exploiting the Matching Information in the Support Set for Few Shot
Event Classification [66.31312496170139]
数ショットの学習セットに基づくイベント分類について検討する。
本稿では,学習過程におけるサポートセットを効果的に活用する新たなトレーニング手法を提案する。
2つのベンチマークECデータセットを用いた実験の結果,提案手法は,イベント分類の精度を最大10%向上できることがわかった。
論文 参考訳（メタデータ） (2020-02-13T00:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。