論文の概要: Function Composition in Trustworthy Machine Learning: Implementation
Choices, Insights, and Questions
- arxiv url: http://arxiv.org/abs/2302.09190v1
- Date: Fri, 17 Feb 2023 23:49:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 19:59:20.647445
- Title: Function Composition in Trustworthy Machine Learning: Implementation
Choices, Insights, and Questions
- Title（参考訳）: 信頼できる機械学習における機能構成:実装選択,洞察,質問
- Authors: Manish Nagireddy, Moninder Singh, Samuel C. Hoffman, Evaline Ju,
Karthikeyan Natesan Ramamurthy, Kush R. Varshney
- Abstract要約: 本稿では,信頼感の異なる「柱」から生じる機能の構成に焦点を当てる。
実世界の信頼に値する7つの次元 - 公正さと説明可能性 - に関する実験結果と新たな知見を報告する。
また,複数の柱からの機能の組み合わせを促すために,作曲家ツールの進捗状況と実装選択について報告する。
- 参考スコア（独自算出の注目度）: 28.643482049799477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring trustworthiness in machine learning (ML) models is a
multi-dimensional task. In addition to the traditional notion of predictive
performance, other notions such as privacy, fairness, robustness to
distribution shift, adversarial robustness, interpretability, explainability,
and uncertainty quantification are important considerations to evaluate and
improve (if deficient). However, these sub-disciplines or 'pillars' of
trustworthiness have largely developed independently, which has limited us from
understanding their interactions in real-world ML pipelines. In this paper,
focusing specifically on compositions of functions arising from the different
pillars, we aim to reduce this gap, develop new insights for trustworthy ML,
and answer questions such as the following. Does the composition of multiple
fairness interventions result in a fairer model compared to a single
intervention? How do bias mitigation algorithms for fairness affect local
post-hoc explanations? Does a defense algorithm for untargeted adversarial
attacks continue to be effective when composed with a privacy transformation?
Toward this end, we report initial empirical results and new insights from 9
different compositions of functions (or pipelines) on 7 real-world datasets
along two trustworthy dimensions - fairness and explainability. We also report
progress, and implementation choices, on an extensible composer tool to
encourage the combination of functionalities from multiple pillars. To-date,
the tool supports bias mitigation algorithms for fairness and post-hoc
explainability methods. We hope this line of work encourages the thoughtful
consideration of multiple pillars when attempting to formulate and resolve a
trustworthiness problem.
- Abstract（参考訳）: 機械学習(ML)モデルにおける信頼性を保証することは多次元課題である。
従来の予測性能の概念に加えて、プライバシー、公正性、流通シフトに対する堅牢性、敵対的堅牢性、解釈可能性、説明可能性、不確実性定量化といった他の概念は、(欠陥があれば)評価と改善のために重要である。
しかし、これらのサブディシプリヌや信頼性の「ピラー」は独立して開発され、現実のMLパイプラインでのインタラクションの理解が制限されています。
本稿では,異なる柱から生じる関数の構成に特化して,このギャップを減らし,信頼に値するMLのための新たな洞察を開発し,以下のような質問に答える。
複数の公平な介入の組成は、単一の介入と比較してより公平なモデルをもたらすか?
公正性に対するバイアス緩和アルゴリズムは局所的ポストホック説明にどのように影響するか?
プライバシ・トランスフォーメーションを組み込んだ場合、未目標の敵攻撃に対する防御アルゴリズムは有効か?
この目的に向けて,2つの信頼に値する次元(フェアネスと説明可能性)に沿って,実世界の7つのデータセット上の9つの異なる関数(あるいはパイプライン)の構成から,最初の実験結果と新たな知見を報告する。
また,複数の柱からの機能の組み合わせを促進するために,拡張可能な作曲家ツールの進歩と実装選択について報告する。
現在、このツールは公正性のためのバイアス軽減アルゴリズムとポストホック説明可能性手法をサポートしている。
この一連の作業が、信頼性の問題を定式化し解決しようとする際の、複数の柱の思慮深い検討を促進することを願っています。
関連論文リスト
- Fairness Explainability using Optimal Transport with Applications in
Image Classification [0.46040036610482665]
機械学習アプリケーションにおける差別の原因を明らかにするための包括的アプローチを提案する。
We leverage Wasserstein barycenters to achieve fair predictions and introduce an extension to pinpoint bias-associated region。
これにより、各特徴がバイアスに影響を及ぼすかどうかを測定するために強制的公正性を使用する凝集系を導出することができる。
論文 参考訳（メタデータ） (2023-08-22T00:10:23Z) - A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。
CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。
本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
論文 参考訳（メタデータ） (2023-02-28T02:37:24Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳（メタデータ） (2020-08-11T22:52:21Z) - Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。
提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
論文 参考訳（メタデータ） (2020-06-11T21:53:15Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳（メタデータ） (2020-06-07T09:24:33Z) - Self-Attention Attribution: Interpreting Information Interactions Inside
Transformer [89.21584915290319]
本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。
本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
論文 参考訳（メタデータ） (2020-04-23T14:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。