論文の概要: Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda
for Developing Practical Guidelines and Tools
- arxiv url: http://arxiv.org/abs/2309.17337v1
- Date: Fri, 29 Sep 2023 15:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 12:52:26.457977
- Title: Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda
for Developing Practical Guidelines and Tools
- Title(参考訳): パイプライン対応MLフェアネスの運用に向けて : 実践的ガイドラインとツール開発のための研究成果
- Authors: Emily Black, Rakshit Naidu, Rayid Ghani, Kit T. Rodolfa, Daniel E. Ho,
Hoda Heidari
- Abstract要約: 最近の研究はMLコミュニティに対して、公平な問題に取り組むためにより包括的なアプローチを取るように呼びかけている。
まず、明確なガイドラインやツールキットがなければ、特殊なML知識を持つ個人でさえ、さまざまな設計選択がモデル行動にどのように影響するかを仮説化することは困難である。
次に、パイプライン対応アプローチの運用に向けた現在の進捗を理解するために、フェアMLの文献を参考にします。
- 参考スコア(独自算出の注目度): 18.513353100744823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While algorithmic fairness is a thriving area of research, in practice,
mitigating issues of bias often gets reduced to enforcing an arbitrarily chosen
fairness metric, either by enforcing fairness constraints during the
optimization step, post-processing model outputs, or by manipulating the
training data. Recent work has called on the ML community to take a more
holistic approach to tackle fairness issues by systematically investigating the
many design choices made through the ML pipeline, and identifying interventions
that target the issue's root cause, as opposed to its symptoms. While we share
the conviction that this pipeline-based approach is the most appropriate for
combating algorithmic unfairness on the ground, we believe there are currently
very few methods of \emph{operationalizing} this approach in practice. Drawing
on our experience as educators and practitioners, we first demonstrate that
without clear guidelines and toolkits, even individuals with specialized ML
knowledge find it challenging to hypothesize how various design choices
influence model behavior. We then consult the fair-ML literature to understand
the progress to date toward operationalizing the pipeline-aware approach: we
systematically collect and organize the prior work that attempts to detect,
measure, and mitigate various sources of unfairness through the ML pipeline. We
utilize this extensive categorization of previous contributions to sketch a
research agenda for the community. We hope this work serves as the stepping
stone toward a more comprehensive set of resources for ML researchers,
practitioners, and students interested in exploring, designing, and testing
pipeline-oriented approaches to algorithmic fairness.
- Abstract(参考訳): アルゴリズム的公平性は研究の活発な分野であるが、実際にはバイアスの軽減は、最適化ステップのフェアネス制約を強制するか、後処理モデル出力を強制するか、トレーニングデータを操作することによって、任意に選択されたフェアネスメトリックを強制することによってしばしば削減される。
最近の研究は、MLパイプラインを通じて行われた多くの設計選択を体系的に調査し、その症状とは対照的に、問題の根本原因を標的とした介入を特定することによって、公正問題に取り組むためのより包括的なアプローチをMLコミュニティに求めている。
このパイプラインベースのアプローチは、アルゴリズム上の不公平と戦うのに最も適しているという信念を共有していますが、このアプローチを実際に行う方法はほとんどありません。
教育者や実践者としての経験に基づいて、私たちはまず、明確なガイドラインやツールキットがなければ、専門的なML知識を持つ個人でさえ、さまざまなデザイン選択がモデル行動にどのように影響するかを仮説化することが難しいことを証明しました。
私たちは、MLパイプラインを通じてさまざまな不公平ソースを検出し、測定し、緩和しようとする以前の作業を体系的に収集し、組織化します。
我々は,これまでの貢献を広範囲に分類し,研究課題を概観する。
この研究が、アルゴリズムの公正性に対するパイプライン指向のアプローチを探求し、設計し、テストすることに関心のあるML研究者、実践者、学生のための、より包括的なリソースセットへの足掛かりになることを期待しています。
関連論文リスト
- EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-08T17:54:03Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Causality-Aided Trade-off Analysis for Machine Learning Fairness [11.149507394656709]
本稿では,機械学習パイプラインにおける公平度パラメータと他の重要な指標とのトレードオフを解析するための原理的手法として因果解析を用いる。
本稿では、正確な因果発見を容易にするためのドメイン固有最適化と、確立された因果推論手法に基づくトレードオフ解析のための統一されたインターフェースを提案する。
論文 参考訳(メタデータ) (2023-05-22T14:14:43Z) - Individual Fairness under Uncertainty [26.183244654397477]
アルゴリズムフェアネス(英: Algorithmic Fairness)は、機械学習(ML)アルゴリズムにおいて確立された領域である。
本稿では,クラスラベルの検閲によって生じる不確実性に対処する,個別の公正度尺度とそれに対応するアルゴリズムを提案する。
この視点は、現実世界のアプリケーションデプロイメントにおいて、より現実的なフェアネス研究のモデルである、と我々は主張する。
論文 参考訳(メタデータ) (2023-02-16T01:07:58Z) - A Framework for Fairness: A Systematic Review of Existing Fair AI
Solutions [4.594159253008448]
公正性の研究の大部分は、機械学習の実践者がアルゴリズムを設計しながらバイアスを監査するために使用できるツールの開発に費やされている。
実際には、これらの公平性ソリューションの応用例が欠如している。
このレビューでは、定義されたアルゴリズムバイアス問題と提案された公正解空間の詳細な概要について述べる。
論文 参考訳(メタデータ) (2021-12-10T17:51:20Z) - Toward a Perspectivist Turn in Ground Truthing for Predictive Computing [1.3985293623849522]
我々は、従来の金の標準データセットから離れて、機械学習プロセスの知識表現ステップに関わる人的対象の意見と視点を統合する手法を採用するよう、データパースペクティビズム(Data perspectivism)と呼ぶ。
本稿では,MLにおけるパースペクティビズム的スタンスを採用することの主な利点と,そのデメリットと,そのようなスタンスを実際に実施できる様々な方法を提案する。
論文 参考訳(メタデータ) (2021-09-09T13:42:27Z) - MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven
Reinforcement Learning [65.52675802289775]
本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。
正規化最大度(NML)分布の計算法を提案する。
得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
論文 参考訳(メタデータ) (2021-07-15T08:19:57Z) - An Empirical Comparison of Bias Reduction Methods on Real-World Problems
in High-Stakes Policy Settings [13.037143215464132]
4つの実世界の公共政策と社会善問題にまたがる機械学習パイプラインの異なる点で動作する複数の手法の性能について検討した。
モデルフェア性を改善するために,これらの手法の多種多様なバラツキと非一貫性を見出したが,グループ固有のスコアしきい値の選択による後処理は,一貫して差を除去している。
論文 参考訳(メタデータ) (2021-05-13T17:33:28Z) - Off-Policy Imitation Learning from Observations [78.30794935265425]
観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。
オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。
我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
論文 参考訳(メタデータ) (2021-02-25T21:33:47Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。