論文の概要: Prediction without Preclusion: Recourse Verification with Reachable Sets
- arxiv url: http://arxiv.org/abs/2308.12820v2
- Date: Wed, 1 May 2024 16:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 20:30:46.669919
- Title: Prediction without Preclusion: Recourse Verification with Reachable Sets
- Title(参考訳): プリクルージョンのない予測:到達可能な集合によるリコース検証
- Authors: Avni Kothari, Bogdan Kulynych, Tsui-Wei Weng, Berk Ustun,
- Abstract要約: 本稿では,モデルが決定対象に一定の予測を割り当てているかどうかを検証するために,リコース検証と呼ばれる手法を提案する。
本研究は,消費者金融のデータセットにおけるリコースの有効性に関する包括的実証研究である。
- 参考スコア(独自算出の注目度): 16.705988489763868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are often used to decide who receives a loan, a job interview, or a public benefit. Models in such settings use features without considering their actionability. As a result, they can assign predictions that are fixed $-$ meaning that individuals who are denied loans and interviews are, in fact, precluded from access to credit and employment. In this work, we introduce a procedure called recourse verification to test if a model assigns fixed predictions to its decision subjects. We propose a model-agnostic approach for recourse verification with reachable sets $-$ i.e., the set of all points that a person can reach through their actions in feature space. We develop methods to construct reachable sets for discrete feature spaces, which can certify the responsiveness of any model by simply querying its predictions. We conduct a comprehensive empirical study on the infeasibility of recourse on datasets from consumer finance. Our results highlight how models can inadvertently preclude access by assigning fixed predictions and underscore the need to account for actionability in model development.
- Abstract(参考訳): 機械学習モデルは、ローンの受取人、面接、または公共の利益を決定するためにしばしば使用される。
このような設定のモデルは、その動作性を考慮せずに機能を使用する。
結果として、彼らは固定価格の予測を割り当てることができる。つまり、融資や面接を拒否された個人は、実際には信用や雇用へのアクセスを妨げられている。
本研究では,モデルが決定対象に一定の予測を割り当てているかどうかを検証するために,リコース検証と呼ばれる手法を導入する。
本研究では,到達可能な集合を$-$,すなわち特徴空間における行動を通じて到達可能なすべての点の集合を用いて,リコース検証のためのモデルに依存しないアプローチを提案する。
離散的な特徴空間に対して到達可能な集合を構築する手法を開発し、その予測を単にクエリすることで任意のモデルの応答性を証明できる。
本研究は,消費者金融のデータセットにおけるリコースの有効性に関する包括的実証研究である。
この結果から,モデル開発におけるアクティビリティを考慮に入れた上で,適切な予測を割り当てることによって,モデルが不注意にアクセスを阻止できることを示す。
関連論文リスト
- Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳(メタデータ) (2024-02-02T05:53:22Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Specifying and Testing $k$-Safety Properties for Machine-Learning Models [20.24045879238586]
フォーマルなメソッドで使われる仕様からインスピレーションを得て、$k$の異なる実行、いわゆる$k$-safetyプロパティを表現します。
ここでは、機械学習モデルに対する$k$-safetyプロパティの幅広い適用性を示し、それらを表現するための最初の仕様言語を示す。
我々のフレームワークは、プロパティ違反を特定するのに有効であり、検出されたバグはより良いモデルのトレーニングに使用できる。
論文 参考訳(メタデータ) (2022-06-13T11:35:55Z) - Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。
これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
論文 参考訳(メタデータ) (2022-03-14T14:33:39Z) - Increasing the Cost of Model Extraction with Calibrated Proof of Work [25.096196576476885]
モデル抽出攻撃では、敵はパブリックAPIを通じて公開された機械学習モデルを盗むことができる。
我々は,モデルの予測を読み取る前に,ユーザが作業の証明を完了するように提案する。
論文 参考訳(メタデータ) (2022-01-23T12:21:28Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Better sampling in explanation methods can prevent dieselgate-like
deception [0.0]
予測モデルの解釈性は、それらのバイアスとエラーの原因を決定するために必要である。
IME、LIME、SHAPなどの一般的なテクニックでは、インスタンス機能の摂動を使用して個々の予測を説明します。
改良されたサンプリングによりLIMEとSHAPのロバスト性が向上し,以前に未試験のメソッドIMEがすでに最もロバストであることが示されている。
論文 参考訳(メタデータ) (2021-01-26T13:41:37Z) - Beyond Individualized Recourse: Interpretable and Interactive Summaries
of Actionable Recourses [14.626432428431594]
本稿では,Actionable Recourse Agnostic (AReS) と呼ばれる新しいモデルフレームワークを提案する。
説明文の正当性と解釈可能性の両面を同時に最適化する新たな目的を定式化する。
当社のフレームワークは,ブラックボックスモデルに対応するリコースの包括的概要を意思決定者に提供する。
論文 参考訳(メタデータ) (2020-09-15T15:14:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。