論文の概要: Interpretable Model Drift Detection

• arxiv url: http://arxiv.org/abs/2503.06606v1
• Date: Sun, 09 Mar 2025 13:19:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:48.307944
• Title: Interpretable Model Drift Detection
• Title（参考訳）: 解釈可能なモデルドリフト検出
• Authors: Pranoy Panda, Kancheti Sai Srinivas, Vineeth N Balasubramanian, Gaurav Sinha,
• Abstract要約: 我々は,リスクの観点から,解釈可能なモデルドリフト検出の問題を研究するために,原則的アプローチを採っている。 本手法は既存の解釈可能な手法よりも優れており,最先端のブラックボックスドリフト検出手法と同等である。
• 参考スコア（独自算出の注目度）: 22.191653321470913
• License:
• Abstract: Data in the real world often has an evolving distribution. Thus, machine learning models trained on such data get outdated over time. This phenomenon is called model drift. Knowledge of this drift serves two purposes: (i) Retain an accurate model and (ii) Discovery of knowledge or insights about change in the relationship between input features and output variable w.r.t. the model. Most existing works focus only on detecting model drift but offer no interpretability. In this work, we take a principled approach to study the problem of interpretable model drift detection from a risk perspective using a feature-interaction aware hypothesis testing framework, which enjoys guarantees on test power. The proposed framework is generic, i.e., it can be adapted to both classification and regression tasks. Experiments on several standard drift detection datasets show that our method is superior to existing interpretable methods (especially on real-world datasets) and on par with state-of-the-art black-box drift detection methods. We also quantitatively and qualitatively study the interpretability aspect including a case study on USENET2 dataset. We find our method focuses on model and drift sensitive features compared to baseline interpretable drift detectors.
• Abstract（参考訳）: 現実世界のデータは、しばしば進化する分布を持つ。 このように、そのようなデータに基づいてトレーニングされた機械学習モデルは、時間が経つにつれて時代遅れになる。 この現象はモデルドリフトと呼ばれる。 この流れの知識は2つの目的を果たす。 一 正確なモデルを維持しておくこと 2入力特徴と出力変数w.r.t.の関係における知識の発見 既存の作業の多くは、モデルドリフトの検出のみに焦点を当てているが、解釈性は提供していない。 本研究では,リスクの観点からのモデルドリフト検出の解釈に関する問題を,テストパワーの保証を享受する特徴的相互作用を考慮した仮説テストフレームワークを用いて検討する。 提案するフレームワークは汎用的であり、分類タスクと回帰タスクの両方に適応できる。 いくつかの標準ドリフト検出データセットの実験により,本手法は既存の解釈可能な手法(特に実世界のデータセット)よりも優れており,最先端のブラックボックスドリフト検出手法と同等であることが示された。 また、USENET2データセットのケーススタディを含む、解釈可能性の側面を定量的に質的に研究する。 本手法は,ベースラインの解釈可能なドリフト検出器と比較して,モデルおよびドリフト感度に重点を置いている。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
  本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。 提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。 また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
  論文  参考訳（メタデータ） (2024-05-23T04:03:36Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models [9.035254826664273]
  機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。 提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。 また,ドリフトの根本原因である生産データのサブセットも同定する。 これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2023-09-07T16:45:42Z)
• Watermarking for Out-of-distribution Detection [76.20630986010114]
  Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。 本稿では,透かしという一般的な手法を提案する。 我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
  論文  参考訳（メタデータ） (2022-10-27T06:12:32Z)
• Autoregressive based Drift Detection Method [0.0]
  我々はADDMと呼ばれる自己回帰モデルに基づく新しい概念ドリフト検出手法を提案する。 以上の結果から,新しいドリフト検出法は最先端ドリフト検出法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T14:36:16Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• Drift Estimation with Graphical Models [0.0]
  グラフィカルモデルを用いて、データの可視構造を抽出し、隠れたコンテキストの変化から推測する。 本研究は,オーストラリア電力市場における実世界データを用いた評価手法である。
  論文  参考訳（メタデータ） (2021-02-02T12:24:34Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。