論文の概要: A Classification of Feedback Loops and Their Relation to Biases in
Automated Decision-Making Systems
- arxiv url: http://arxiv.org/abs/2305.06055v1
- Date: Wed, 10 May 2023 11:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 13:29:23.778275
- Title: A Classification of Feedback Loops and Their Relation to Biases in
Automated Decision-Making Systems
- Title（参考訳）: 自動意思決定システムにおけるフィードバックループの分類とバイアスとの関係
- Authors: Nicol\`o Pagan, Joachim Baumann, Ezzat Elokda, Giulia De Pasquale,
Saverio Bolognani, Anik\'o Hann\'ak
- Abstract要約: MLに基づく意思決定パイプラインにおけるフィードバックループのタイプについて検討する。
フィードバックループの存在は、MLバイアスを永続的に、強化し、あるいは軽減することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction-based decision-making systems are becoming increasingly prevalent
in various domains. Previous studies have demonstrated that such systems are
vulnerable to runaway feedback loops, e.g., when police are repeatedly sent
back to the same neighborhoods regardless of the actual rate of criminal
activity, which exacerbate existing biases. In practice, the automated
decisions have dynamic feedback effects on the system itself that can
perpetuate over time, making it difficult for short-sighted design choices to
control the system's evolution. While researchers started proposing longer-term
solutions to prevent adverse outcomes (such as bias towards certain groups),
these interventions largely depend on ad hoc modeling assumptions and a
rigorous theoretical understanding of the feedback dynamics in ML-based
decision-making systems is currently missing. In this paper, we use the
language of dynamical systems theory, a branch of applied mathematics that
deals with the analysis of the interconnection of systems with dynamic
behaviors, to rigorously classify the different types of feedback loops in the
ML-based decision-making pipeline. By reviewing existing scholarly work, we
show that this classification covers many examples discussed in the algorithmic
fairness community, thereby providing a unifying and principled framework to
study feedback loops. By qualitative analysis, and through a simulation example
of recommender systems, we show which specific types of ML biases are affected
by each type of feedback loop. We find that the existence of feedback loops in
the ML-based decision-making pipeline can perpetuate, reinforce, or even reduce
ML biases.
- Abstract（参考訳）: 様々な分野において,予測に基づく意思決定システムが普及している。
以前の研究では、そのようなシステムは逃走フィードバックループに弱いことが示されており、例えば、警察が犯罪行為の実際の頻度に関わらず、同じ地区に繰り返し送られ、既存のバイアスが悪化する。
実際には、自動決定はシステム自体に動的なフィードバック効果を持ち、時間の経過とともに持続し、短期的な設計選択がシステムの進化を制御するのが困難になる。
研究者は、副作用(例えば特定のグループへの偏見)を防ぐための長期的な解決策を提案し始めたが、これらの介入はアドホックなモデリングの仮定とMLベースの意思決定システムにおけるフィードバックのダイナミクスに関する厳密な理論的理解に大きく依存している。
本稿では、動的挙動を伴うシステムの相互接続の分析を扱う応用数学の一分野である動的システム理論の言語を用いて、MLに基づく意思決定パイプラインにおける異なるタイプのフィードバックループを厳格に分類する。
既存の学術研究をレビューすることにより,アルゴリズムフェアネスコミュニティで議論されている多くの事例を網羅し,フィードバックループを研究するための統一的で原則化された枠組みを提供する。
質的分析とレコメンダシステムのシミュレーション例を用いて,各フィードバックループのタイプによってどのような種類のmlバイアスが影響を受けるかを示す。
MLベースの意思決定パイプラインにおけるフィードバックループの存在は、MLバイアスを永続的に、強化し、あるいは低減することができる。
関連論文リスト
- Counterfactual-based Root Cause Analysis for Dynamical Systems [0.33748750222488655]
本稿では,残留ニューラルネットワークを用いた根本原因同定手法を提案する。
構造方程式と外的影響に介入した場合に、より多くの根本原因が同定されることを示す。
本稿では,提案手法が実世界の河川データセットだけでなく,ベンチマーク・ダイナミック・システムにも有効であることを示す。
論文 参考訳（メタデータ） (2024-06-12T11:38:13Z) - A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems [44.99833362998488]
意図しない隠れフィードバックループに起因するいくつかの現象を共同で記述するために,繰り返し学習プロセスを導入する。
このような繰り返し学習設定の特徴は、環境の状態が時間とともに学習者自身に因果的に依存することである。
本稿では,繰り返し学習過程の力学系モデルを提案し,正および負のフィードバックループモードに対する確率分布の制限セットを証明した。
論文 参考訳（メタデータ） (2024-05-04T17:57:24Z) - Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。
前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。
提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文 参考訳（メタデータ） (2022-05-13T21:09:41Z) - Investigation of Different Calibration Methods for Deep Speaker
Embedding based Verification Systems [66.61691401921296]
本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。
この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
論文 参考訳（メタデータ） (2022-03-28T21:22:22Z) - Learning Physical Concepts in Cyber-Physical Systems: A Case Study [72.74318982275052]
本稿では,時系列データにおける物理概念の学習方法に関する研究の現状について概説する。
また,3タンクシステムの例を用いて,最先端技術から最も重要な手法を分析した。
論文 参考訳（メタデータ） (2021-11-28T14:24:52Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳（メタデータ） (2021-09-06T04:39:06Z) - Monitoring nonstationary processes based on recursive cointegration
analysis and elastic weight consolidation [2.8102838347038617]
従来のアプローチは、通常の動的偏差を障害と誤認し、高い誤報を引き起こす。
本稿では, RCA と RPCA を用いて, 実際の故障と通常のシステム変化を区別する手法を提案する。
破滅的な「忘れる問題」を解決するために弾性重量凝縮(EWC)が用いられる。
論文 参考訳（メタデータ） (2021-01-21T12:49:18Z) - Analysis of hidden feedback loops in continuous machine learning systems [0.0]
暗黙的なフィードバックループの問題を示し,例えば住宅価格予測システムにおいて,ユーザの行動にどのように介入するかを示す。
予備モデルに基づいて,このようなフィードバックループが発生する条件を強調し,可能な解法について論じる。
論文 参考訳（メタデータ） (2021-01-14T15:43:18Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。