論文の概要: A Learning-Theoretic Framework for Certified Auditing of Machine
Learning Models
- arxiv url: http://arxiv.org/abs/2206.04740v1
- Date: Thu, 9 Jun 2022 19:19:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 05:45:43.002083
- Title: A Learning-Theoretic Framework for Certified Auditing of Machine
Learning Models
- Title(参考訳): 機械学習モデルの認証監査のための学習理論フレームワーク
- Authors: Chhavi Yadav, Michal Moshkovitz, Kamalika Chaudhuri
- Abstract要約: 責任ある機械学習の使用には、モデルは望ましくない特性に対して監査される必要がある。
一般的な環境での原則的な監査の仕方は、いまだに理解されていない。
監査のための形式的学習理論フレームワークを提案する。
- 参考スコア(独自算出の注目度): 29.55309950026882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Responsible use of machine learning requires that models be audited for
undesirable properties. However, how to do principled auditing in a general
setting has remained ill-understood. In this paper, we propose a formal
learning-theoretic framework for auditing. We propose algorithms for auditing
linear classifiers for feature sensitivity using label queries as well as
different kinds of explanations, and provide performance guarantees. Our
results illustrate that while counterfactual explanations can be extremely
helpful for auditing, anchor explanations may not be as beneficial in the worst
case.
- Abstract(参考訳): 機械学習の責任ある利用には、望ましくない特性のためにモデルを監査する必要がある。
しかし、原則的な監査を一般の環境で行う方法は、まだ理解されていない。
本稿では,監査のための形式的学習理論フレームワークを提案する。
ラベルクエリと異なる種類の説明を用いた特徴量評価のための線形分類器の監査アルゴリズムを提案し,性能保証を提供する。
以上の結果から, 偽説明は監査に極めて有用であるが, 最悪の場合, アンカー説明は役に立たない可能性が示唆された。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Unveiling the Potential of Counterfactuals Explanations in Employability [0.0]
本稿では,機械学習アルゴリズムに関わる雇用性関連問題に対して,その対策が適用可能であることを示す。
提示されたユースケースは、説明として反事実の応用以上のものだ。
論文 参考訳(メタデータ) (2023-05-17T09:13:53Z) - Explainable Data-Driven Optimization: From Context to Decision and Back
Again [76.84947521482631]
データ駆動最適化では、コンテキスト情報と機械学習アルゴリズムを使用して、不確実なパラメータによる決定問題の解決策を見つける。
本稿では,データ駆動型問題に対する解法を説明するために,対実的説明手法を提案する。
在庫管理やルーティングといった運用管理における重要な問題を説明することで,我々のアプローチを実証する。
論文 参考訳(メタデータ) (2023-01-24T15:25:16Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳(メタデータ) (2022-11-25T04:40:47Z) - RESHAPE: Explaining Accounting Anomalies in Financial Statement Audits
by enhancing SHapley Additive exPlanations [1.3333957453318743]
本稿では,集約属性レベルのモデル出力を説明するRESHAPEを提案する。
以上の結果から,RESHAPEは最先端のベースラインと比較して多目的に説明できるという実証的証拠が得られた。
金融監査における非教師なしDL技術導入の次のステップとして,このような属性レベルの説明を想定する。
論文 参考訳(メタデータ) (2022-09-19T16:23:43Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-06T17:57:58Z) - Features of Explainability: How users understand counterfactual and
causal explanations for categorical and continuous features in XAI [10.151828072611428]
対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。
本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。
また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
論文 参考訳(メタデータ) (2022-04-21T15:01:09Z) - Counterfactual Explanations Can Be Manipulated [40.78019510022835]
反事実的説明の脆弱性を記述した最初のフレームワークを紹介し,その操作方法を示す。
反事実的説明は、それらが堅牢でないことを示す小さな摂動の下で、大きく異なる反事実に収束する可能性がある。
これらのモデルが、監査者に対して公正に見せながら、データ内の特定のサブグループに対して、不公平に低コストなリコースを提供する方法について説明する。
論文 参考訳(メタデータ) (2021-06-04T18:56:15Z) - Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。
その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。
我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
論文 参考訳(メタデータ) (2020-12-30T08:19:02Z) - Evaluating Explanations: How much do explanations from the teacher aid
students? [103.05037537415811]
本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。
説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
論文 参考訳(メタデータ) (2020-12-01T23:40:21Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。