論文の概要: Amazon SageMaker Clarify: Machine Learning Bias Detection and Explainability in the Cloud

• arxiv url: http://arxiv.org/abs/2109.03285v1
• Date: Tue, 7 Sep 2021 18:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 13:44:32.814000
• Title: Amazon SageMaker Clarify: Machine Learning Bias Detection and Explainability in the Cloud
• Title（参考訳）: Amazon SageMaker Clarify: クラウドにおける機械学習バイアスの検出と説明可能性
• Authors: Michaela Hardt, Xiaoguang Chen, Xiaoyi Cheng, Michele Donini, Jason Gelman, Satish Gollaprolu, John He, Pedro Larroy, Xinyu Liu, Nick McCarthy, Ashish Rathi, Scott Rees, Ankit Siva, ErhYuan Tsai, Keerthan Vasist, Pinar Yilmaz, Muhammad Bilal Zafar, Sanjiv Das, Kevin Haas, Tyler Hill, Krishnaram Kenthapadi
• Abstract要約: Amazon SageMakerの説明可能性機能であるAmazon SageMaker Clarifyを紹介します。 バイアスを特定し、予測を説明することで、データとMLモデルに関する洞察を提供する。 完全にマネージドなサービスであるAmazon SageMakerに深く統合されている。
• 参考スコア（独自算出の注目度）: 15.423175696286439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the predictions made by machine learning (ML) models and their potential biases remains a challenging and labor-intensive task that depends on the application, the dataset, and the specific model. We present Amazon SageMaker Clarify, an explainability feature for Amazon SageMaker that launched in December 2020, providing insights into data and ML models by identifying biases and explaining predictions. It is deeply integrated into Amazon SageMaker, a fully managed service that enables data scientists and developers to build, train, and deploy ML models at any scale. Clarify supports bias detection and feature importance computation across the ML lifecycle, during data preparation, model evaluation, and post-deployment monitoring. We outline the desiderata derived from customer input, the modular architecture, and the methodology for bias and explanation computations. Further, we describe the technical challenges encountered and the tradeoffs we had to make. For illustration, we discuss two customer use cases. We present our deployment results including qualitative customer feedback and a quantitative evaluation. Finally, we summarize lessons learned, and discuss best practices for the successful adoption of fairness and explanation tools in practice.
• Abstract（参考訳）: 機械学習(ml)モデルによる予測とその潜在的なバイアスを理解することは、アプリケーション、データセット、および特定のモデルに依存する困難で労働集約的なタスクである。 我々は、2020年12月にローンチしたamazon sagemakerの説明可能性機能であるamazon sagemaker clearを紹介し、バイアスを特定して予測を説明することにより、データとmlモデルに関する洞察を提供する。 完全にマネージドなサービスであるAmazon SageMakerに深く統合されており、データサイエンティストや開発者が任意のスケールでMLモデルを構築し、トレーニングし、デプロイすることができる。 mlライフサイクル全体、データ準備、モデル評価、デプロイ後の監視において、バイアス検出と機能の重要性の計算をサポートする。 本稿では,顧客入力から派生したデシデラタ,モジュールアーキテクチャ,バイアスおよび説明計算の方法論について概説する。 さらに、遭遇した技術的課題と、必要なトレードオフについても説明します。 実例では2つのユースケースについて論じる。 定性的な顧客フィードバックと定量的評価を含むデプロイメント結果を提示する。 最後に,学んだ教訓を要約し,フェアネスの導入を成功させるためのベストプラクティスと,実践上の説明ツールについて論じる。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
  我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。 まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。 本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
  論文  参考訳（メタデータ） (2024-05-21T15:13:12Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Fair Classification via Transformer Neural Networks: Case Study of an Educational Domain [0.0913755431537592]
  本稿では,Law Schoolのニューラルネットワークを用いた変圧器ネットワークにおけるフェアネス制約の予備的検討を行う。 フェアネス指標を用いて評価を行い、フェアネスと精度のトレードオフを確認しました。
  論文  参考訳（メタデータ） (2022-06-03T06:34:16Z)
• PyHard: a novel tool for generating hardness embeddings to support data-centric analysis [0.38233569758620045]
  PyHardは、複数のMLモデルの予測パフォーマンスに関連するデータセットの硬度埋め込みを生成する。 ユーザは、この埋め込みを複数の方法で操作することで、データとアルゴリズムのパフォーマンスに関する有用な洞察を得ることができる。 我々は、この分析が、MLモデルに挑戦するハードな観察のポケットの識別をどのように支援したかを示す。
  論文  参考訳（メタデータ） (2021-09-29T14:08:26Z)
• Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning [0.0]
  モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。 本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。 精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-28T03:45:09Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。