論文の概要: ComplAI: Theory of A Unified Framework for Multi-factor Assessment of Black-Box Supervised Machine Learning Models

• arxiv url: http://arxiv.org/abs/2212.14599v1
• Date: Fri, 30 Dec 2022 08:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:38:01.133690
• Title: ComplAI: Theory of A Unified Framework for Multi-factor Assessment of Black-Box Supervised Machine Learning Models
• Title（参考訳）: ComplAI: Black-Box Supervised Machine Learning Modelの多要素評価のための統一フレームワークの理論
• Authors: Arkadipta De, Satya Swaroop Gudipudi, Sourab Panchanan, Maunendra Sankar Desarkar
• Abstract要約: ComplAIは、説明可能性、堅牢性、パフォーマンス、公正性、モデル行動を有効にし、観察し、分析し、定量化するユニークなフレームワークである。 教師付き機械学習モデルの評価は、正しい予測を行う能力だけでなく、全体的な責任の観点から行う。
• 参考スコア（独自算出の注目度）: 6.279863832853343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advances in Artificial Intelligence are creating new opportunities to improve lives of people around the world, from business to healthcare, from lifestyle to education. For example, some systems profile the users using their demographic and behavioral characteristics to make certain domain-specific predictions. Often, such predictions impact the life of the user directly or indirectly (e.g., loan disbursement, determining insurance coverage, shortlisting applications, etc.). As a result, the concerns over such AI-enabled systems are also increasing. To address these concerns, such systems are mandated to be responsible i.e., transparent, fair, and explainable to developers and end-users. In this paper, we present ComplAI, a unique framework to enable, observe, analyze and quantify explainability, robustness, performance, fairness, and model behavior in drift scenarios, and to provide a single Trust Factor that evaluates different supervised Machine Learning models not just from their ability to make correct predictions but from overall responsibility perspective. The framework helps users to (a) connect their models and enable explanations, (b) assess and visualize different aspects of the model, such as robustness, drift susceptibility, and fairness, and (c) compare different models (from different model families or obtained through different hyperparameter settings) from an overall perspective thereby facilitating actionable recourse for improvement of the models. It is model agnostic and works with different supervised machine learning scenarios (i.e., Binary Classification, Multi-class Classification, and Regression) and frameworks. It can be seamlessly integrated with any ML life-cycle framework. Thus, this already deployed framework aims to unify critical aspects of Responsible AI systems for regulating the development process of such real systems.
• Abstract（参考訳）: 人工知能の進歩は、ビジネスから医療、ライフスタイルから教育まで、世界中の人々の生活を改善する新たな機会を生み出している。 例えば、特定のドメイン固有の予測を行うために、ユーザの人口動態と行動特性をプロファイルするシステムもある。 このような予測は、しばしば、直接的または間接的にユーザーの生活に影響を与える(例えば、ローン支払い、保険カバレッジの決定、ショートリストアプリケーションなど)。 その結果、このようなAI対応システムに対する懸念も高まっている。 これらの懸念に対処するため、これらのシステムは、開発者やエンドユーザに対して、透明性、公正、説明可能な責任を負うよう義務付けられている。 本稿では,ドリフトシナリオにおける説明可能性,ロバスト性,パフォーマンス,公平性,モデル行動の検証,分析,定量化を行うユニークなフレームワークであるcomplaiについて述べる。 このフレームワークはユーザーを助ける (a)モデルを接続し、説明を可能にする。 (b)ロバスト性、ドリフト感受性、公平性など、モデルの異なる側面を評価し、可視化すること。 (c)全体の観点から異なるモデル(異なるモデルファミリーから、または異なるハイパーパラメータ設定を通して得られる)を比較することにより、モデル改善のためのアクション可能なリコースが容易になる。 モデル非依存であり、さまざまな教師付き機械学習シナリオ(バイナリ分類、マルチクラス分類、回帰)とフレームワークで動作する。 任意のMLライフサイクルフレームワークとシームレスに統合できる。 したがって、すでにデプロイされているこのフレームワークは、そのような実システムの開発プロセスを規制するために責任あるaiシステムの重要な側面を統合することを目的としている。

関連論文リスト

• From Efficiency to Equity: Measuring Fairness in Preference Learning [3.2132738637761027]
  不平等とロウルシアン正義の経済理論に触発された嗜好学習モデルの公平性を評価する。 Gini Coefficient, Atkinson Index, Kuznets Ratio を用いて,これらのモデルの公平性を定量化するための指標を提案する。
  論文  参考訳（メタデータ） (2024-10-24T15:25:56Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• Multi-Agent Verification and Control with Probabilistic Model Checking [4.56877715768796]
  確率的モデルチェック(probabilistic model check)は、ソフトウェアやハードウェアシステムに関する公式な自動推論手法である。 論理学、オートマトン、グラフ理論から最適化、数値法、制御に至るまで、様々な分野のアイデアと技術に基づいて構築される。 近年ではゲーム理論のアイデアを統合するために確率的モデル検査も拡張されている。
  論文  参考訳（メタデータ） (2023-08-05T09:31:32Z)
• Cross Feature Selection to Eliminate Spurious Interactions and Single Feature Dominance Explainable Boosting Machines [0.0]
  解釈性は法的、倫理的、実践的な理由において不可欠である。 高性能モデルは、冗長な特徴と単一機能支配との素早い相互作用に悩まされることがある。 本稿では,これらの課題に対処するための新しいアプローチとして,代替のクロスフィーチャー選択,アンサンブル機能,モデル構成変更手法について検討する。
  論文  参考訳（メタデータ） (2023-07-17T13:47:41Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
  我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
  論文  参考訳（メタデータ） (2023-02-23T15:28:36Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Multi Agent System for Machine Learning Under Uncertainty in Cyber Physical Manufacturing System [78.60415450507706]
  近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。 ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。 本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
  論文  参考訳（メタデータ） (2021-07-28T10:28:05Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• A Weighted Solution to SVM Actionability and Interpretability [0.0]
  実行可能性(Actionability)は、機械学習モデルの解釈可能性や説明可能性と同じくらい重要であり、進行中で重要な研究トピックである。 本稿では,線形SVMモデルと非線形SVMモデルの両方において,動作可能性の問題に対する解を求める。
  論文  参考訳（メタデータ） (2020-12-06T20:35:25Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。