論文の概要: A Human-Centric Take on Model Monitoring

• arxiv url: http://arxiv.org/abs/2206.02868v1
• Date: Mon, 6 Jun 2022 19:47:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 16:01:05.480086
• Title: A Human-Centric Take on Model Monitoring
• Title（参考訳）: 人中心によるモデルモニタリング
• Authors: Murtuza N Shergadwala, Himabindu Lakkaraju, Krishnaram Kenthapadi
• Abstract要約: 実世界のアプリケーションにおいて、モデル監視のための様々な人間中心の課題と要件を特定します。 モデルモニタリングシステムの必要性と課題は,モニタリングが結果に与える影響を明らかにすることである。
• 参考スコア（独自算出の注目度）: 23.006624840045554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive models are increasingly used to make various consequential decisions in high-stakes domains such as healthcare, finance, and policy. It becomes critical to ensure that these models make accurate predictions, are robust to shifts in the data, do not rely on spurious features, and do not unduly discriminate against minority groups. To this end, several approaches spanning various areas such as explainability, fairness, and robustness have been proposed in recent literature. Such approaches need to be human-centered as they cater to the understanding of the models to their users. However, there is a research gap in understanding the human-centric needs and challenges of monitoring machine learning (ML) models once they are deployed. To fill this gap, we conducted an interview study with 13 practitioners who have experience at the intersection of deploying ML models and engaging with customers spanning domains such as financial services, healthcare, hiring, online retail, computational advertising, and conversational assistants. We identified various human-centric challenges and requirements for model monitoring in real-world applications. Specifically, we found the need and the challenge for the model monitoring systems to clarify the impact of the monitoring observations on outcomes. Further, such insights must be actionable, robust, customizable for domain-specific use cases, and cognitively considerate to avoid information overload.
• Abstract（参考訳）: 予測モデルは、医療、金融、政策といった高リスク領域で様々な一連の決定を下すためにますます使われています。 これらのモデルが正確な予測を行い、データのシフトに頑健であり、急激な特徴に依存しておらず、少数派グループに対して不当に差別的でないことを保証することが重要になる。 この目的のために, 説明可能性, 公平性, 頑健性など, 様々な分野にまたがるアプローチが近年提案されている。 このようなアプローチは,ユーザに対するモデル理解に配慮して,人間中心で行う必要がある。 しかし、機械学習(ML)モデルをデプロイした時に監視する人間中心のニーズと課題を理解するには、研究のギャップがある。 このギャップを埋めるため,我々は,金融サービス,医療,雇用,オンライン小売,計算広告,会話型アシスタントといった分野にまたがる顧客との関わり,mlモデルの展開の交差点での経験のある13人の実践者を対象に,インタビュー調査を行った。 実世界のアプリケーションにおいて,モデル監視のさまざまな人間中心の課題と要件を特定した。 具体的には,モニタリングが結果に与える影響を明らかにするために,モデル監視システムの必要性と課題を見出した。 さらに、このような洞察はアクション可能で、堅牢で、ドメイン固有のユースケース用にカスタマイズ可能でなければならず、情報過負荷を避けるために認知的に考慮する必要があります。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
  HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。 ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
  論文  参考訳（メタデータ） (2024-05-06T07:44:07Z)
• Survey of Social Bias in Vision-Language Models [65.44579542312489]
  調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。 ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
  論文  参考訳（メタデータ） (2023-09-24T15:34:56Z)
• Safe AI for health and beyond -- Monitoring to transform a health service [51.8524501805308]
  機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。 モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
  論文  参考訳（メタデータ） (2023-03-02T17:27:45Z)
• A Comprehensive Review of Trends, Applications and Challenges In Out-of-Distribution Detection [0.76146285961466]
  アウト・オブ・ディストリビューション・データ・サブセットの検出とより包括的な一般化の実現に焦点をあてた研究分野が誕生した。 多くのディープラーニングベースのモデルは、ベンチマークデータセットでほぼ完璧な結果を得たため、これらのモデルの信頼性と信頼性を評価する必要性は、これまで以上に強く感じられる。 本稿では,本分野における70以上の論文のレビューに加えて,今後の研究の課題と方向性を提示するとともに,データシフトの多種多様さを統一的に把握し,より一般化するためのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-09-26T18:13:14Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Individual Explanations in Machine Learning Models: A Survey for Practitioners [69.02688684221265]
  社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。 多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。 近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
  論文  参考訳（メタデータ） (2021-04-09T01:46:34Z)
• Combining Graph Neural Networks and Spatio-temporal Disease Models to Predict COVID-19 Cases in Germany [0.0]
  いくつかの専門家は、新型コロナウイルスの拡散を説明するために人間の移動性を考慮する必要性を求めた。 ほとんどの統計モデルや疫学モデルでは、人間の移動性を符号化するデータを含む非構造化データソースを直接組み込むことはできない。 本稿では,両研究方向のトレードオフを提案し,統計回帰モデルと機械学習モデルの利点を組み合わせた新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-03T16:39:00Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。