論文の概要: Unbiasing on the Fly: Explanation-Guided Human Oversight of Machine Learning System Decisions
- arxiv url: http://arxiv.org/abs/2406.17906v1
- Date: Tue, 25 Jun 2024 19:40:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 15:27:11.630351
- Title: Unbiasing on the Fly: Explanation-Guided Human Oversight of Machine Learning System Decisions
- Title(参考訳): 飛行中の不偏性: 機械学習システム決定における説明誘導型人間監督
- Authors: Hussaini Mamman, Shuib Basri, Abdullateef Balogun, Abubakar Abdullahi Imam, Ganesh Kumar, Luiz Fernando Capretz,
- Abstract要約: 本稿では,デプロイされたMLシステムにおいて,オンザフライトラッキングと識別の補正のための新しいフレームワークを提案する。
このフレームワークは、MLシステムによる予測を継続的に監視し、差別的な結果をフラグ付けする。
このHuman-in-the-loopアプローチは、レビュアーがMLシステム決定を受け入れたり、無効にしたりすることを可能にする。
- 参考スコア(独自算出の注目度): 4.24106429730184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The widespread adoption of ML systems across critical domains like hiring, finance, and healthcare raises growing concerns about their potential for discriminatory decision-making based on protected attributes. While efforts to ensure fairness during development are crucial, they leave deployed ML systems vulnerable to potentially exhibiting discrimination during their operations. To address this gap, we propose a novel framework for on-the-fly tracking and correction of discrimination in deployed ML systems. Leveraging counterfactual explanations, the framework continuously monitors the predictions made by an ML system and flags discriminatory outcomes. When flagged, post-hoc explanations related to the original prediction and the counterfactual alternatives are presented to a human reviewer for real-time intervention. This human-in-the-loop approach empowers reviewers to accept or override the ML system decision, enabling fair and responsible ML operation under dynamic settings. While further work is needed for validation and refinement, this framework offers a promising avenue for mitigating discrimination and building trust in ML systems deployed in a wide range of domains.
- Abstract(参考訳): 雇用、金融、医療といった重要な領域にまたがるMLシステムの普及は、保護された属性に基づいた差別的意思決定の可能性に対する懸念を高めている。
開発中の公正性を保証する努力は不可欠だが、運用中に差別を示す可能性のある脆弱性を持つデプロイされたMLシステムを残している。
このギャップに対処するために,デプロイされたMLシステムにおいて,オンザフライトラッキングと識別の補正を行う新しいフレームワークを提案する。
このフレームワークは、カウンターファクトの説明を活用することで、MLシステムによる予測を継続的に監視し、差別的な結果をフラグ付けする。
フラグを付けると、オリジナルの予測と反現実的な代替案に関するポストホックな説明が、リアルタイムの介入のために人間レビュアーに提示される。
このHuman-in-the-loopアプローチにより、レビュアーはMLシステム決定を受理または無効にすることができ、動的設定の下で公正で責任あるML操作を可能にする。
検証と改善にはさらなる作業が必要だが、このフレームワークは差別を緩和し、幅広いドメインにデプロイされたMLシステムに対する信頼を構築するための有望な道を提供する。
関連論文リスト
- Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。
概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。
我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
論文 参考訳(メタデータ) (2024-10-31T20:05:51Z) - InferAct: Inferring Safe Actions for LLM-Based Agents Through Preemptive Evaluation and Human Feedback [70.54226917774933]
本稿では,リスク行動が実行される前に,潜在的なエラーを積極的に検出する新しい手法であるInferActを紹介する。
InferActは人間のプロキシとして機能し、安全でないアクションを検出し、ユーザーの介入を警告する。
広く使われている3つのタスクの実験は、InferActの有効性を示している。
論文 参考訳(メタデータ) (2024-07-16T15:24:44Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Uncertainty-aware predictive modeling for fair data-driven decisions [5.371337604556311]
フェアMLシステムは安全なMLシステムであることを示す。
公平な判断については、不確実な分類を持つ個人に対して、安全なフェールオプションを使用することを議論する。
論文 参考訳(メタデータ) (2022-11-04T20:04:39Z) - Causal Fairness Analysis [68.12191782657437]
意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。
我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。
本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
論文 参考訳(メタデータ) (2022-07-23T01:06:34Z) - Marrying Fairness and Explainability in Supervised Learning [0.0]
我々は、保護属性の直接的な因果効果として直接識別を定式化する。
我々は、最先端のフェアラーニング手法は、関連性や逆の差別によって差別を誘発することができることを発見した。
本稿では,保護された属性がシステムの出力に与える影響を無効にするとともに,残りの特徴の影響を保存することを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:26:58Z) - Fairness-aware Adversarial Perturbation Towards Bias Mitigation for
Deployed Deep Models [32.39167033858135]
公平さの優先順位付けは人工知能(AI)システムにおいて重要である。
我々は、よりフレキシブルなアプローチ、すなわち、公正を意識した敵対的摂動(FAAP)を提案する。
FAAPは、フェアネス関連の機能で盲目的に配備されたモデルに入力データを摂動させることを学ぶ。
論文 参考訳(メタデータ) (2022-03-03T09:26:00Z) - Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems [1.4695979686066065]
機械学習システムの開発と展開は依然として課題だ。
本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
論文 参考訳(メタデータ) (2021-03-25T19:40:29Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-11-12T02:23:53Z) - Towards Integrating Fairness Transparently in Industrial Applications [3.478469381434812]
本稿では,機械学習プロジェクトのバイアス検出,緩和,ドキュメント化において,機械的および人為的コンポーネントを統合するための体系的アプローチを提案する。
構造的プリミティブを実世界のユースケースの例として提示し、潜在的なバイアスを特定し、適切な緩和戦略を決定する方法について説明する。
論文 参考訳(メタデータ) (2020-06-10T21:54:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。