論文の概要: Concept Drift Detection using Ensemble of Integrally Private Models
- arxiv url: http://arxiv.org/abs/2406.04903v1
- Date: Fri, 7 Jun 2024 12:54:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:01:29.416516
- Title: Concept Drift Detection using Ensemble of Integrally Private Models
- Title（参考訳）: 積分プライベートモデルのアンサンブルを用いたコンセプトドリフト検出
- Authors: Ayush K. Varshney, Vicenc Torra,
- Abstract要約: Integrally Private Drift Detection (IPDD) と呼ばれるアンサンブル手法を導入し、プライベートモデルからのコンセプトドリフトを検出する。
我々のIPDD法はドリフトを検出するためにラベルを必要としないが、ドリフトを検出すると真のラベルが利用できると仮定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) are one of the most widely used machine learning algorithm. DNNs requires the training data to be available beforehand with true labels. This is not feasible for many real-world problems where data arrives in the streaming form and acquisition of true labels are scarce and expensive. In the literature, not much focus has been given to the privacy prospect of the streaming data, where data may change its distribution frequently. These concept drifts must be detected privately in order to avoid any disclosure risk from DNNs. Existing privacy models use concept drift detection schemes such ADWIN, KSWIN to detect the drifts. In this paper, we focus on the notion of integrally private DNNs to detect concept drifts. Integrally private DNNs are the models which recur frequently from different datasets. Based on this, we introduce an ensemble methodology which we call 'Integrally Private Drift Detection' (IPDD) method to detect concept drift from private models. Our IPDD method does not require labels to detect drift but assumes true labels are available once the drift has been detected. We have experimented with binary and multi-class synthetic and real-world data. Our experimental results show that our methodology can privately detect concept drift, has comparable utility (even better in some cases) with ADWIN and outperforms utility from different levels of differentially private models. The source code for the paper is available \hyperlink{https://github.com/Ayush-Umu/Concept-drift-detection-Using-Integrally-private-models}{here}.
- Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Network, DNN)は、最も広く使われている機械学習アルゴリズムの1つである。
DNNは、トレーニングデータを真のラベルで事前に利用する必要がある。
これは、ストリーミング形式でデータが到着し、真のラベルの取得が不十分でコストがかかる多くの現実的な問題にとって実現不可能である。
文献では、データが頻繁に配信を変える可能性があるストリーミングデータのプライバシーの見通しにはあまり焦点が当てられていない。
これらの概念は、DNNからの開示リスクを避けるために、プライベートに検出されなければならない。
既存のプライバシモデルでは、ADWINやKSWINといったコンセプトドリフト検出スキームを使用してドリフトを検出する。
本稿では,概念ドリフトを検出するために,統合プライベートなDNNの概念に焦点を当てる。
統合プライベートDNNは、異なるデータセットから頻繁に再帰するモデルである。
そこで本研究では,プライベートモデルから概念ドリフトを検出するために,"IPDD(Integrally Private Drift Detection)"と呼ばれるアンサンブル手法を提案する。
我々のIPDD法はドリフトを検出するためにラベルを必要としないが、ドリフトを検出すると真のラベルが利用できると仮定する。
我々は、バイナリおよびマルチクラス合成および実世界のデータの実験を行った。
実験の結果,提案手法は概念のドリフトをプライベートに検出でき,ADWINと同等の実用性(場合によっては優れている)を持ち,異なるレベルの差分プライベートモデルから実用性を上回っていることがわかった。
この論文のソースコードは \hyperlink{https://github.com/Ayush-Umu/Concept-drift-detection-Using-Integrally-private-models}{here} で公開されている。
関連論文リスト
- Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time [5.999777817331315]
コンセプト・ドリフト(英: Concept Drift)は、対象領域の基本的なデータ分布と統計的性質が時間とともに変化する現象である。
我々は、教師なしリアルタイム概念ドリフト検出フレームワークDriftLensを提案する。
深層学習表現の分布距離を利用して非構造化データに作用する。
論文 参考訳（メタデータ） (2024-06-24T23:41:46Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - Detecting Dataset Drift and Non-IID Sampling via k-Nearest Neighbors [16.79939549201032]
データの独立性及び特定分散性(IID)を前提とした仮定違反を, 直接統計的に検出する手法を提案する。
考慮された特定の違反形態は、現実世界のアプリケーションに共通している。
我々のアプローチは、より多くの種類のデータに適用可能であり、また、実際に広範囲のIID違反を検出することができる。
論文 参考訳（メタデータ） (2023-05-25T04:05:09Z) - CADM: Confusion Model-based Detection Method for Real-drift in Chunk
Data Stream [3.0885191226198785]
コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。
本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
論文 参考訳（メタデータ） (2023-03-25T08:59:27Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳（メタデータ） (2022-08-04T05:32:20Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-05T08:56:36Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Distill and Fine-tune: Effective Adaptation from a Black-box Source
Model [138.12678159620248]
Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。
Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-04T05:29:05Z) - Learning Parameter Distributions to Detect Concept Drift in Data Streams [13.20231558027132]
実コンセプトドリフト検出のための新しいフレームワークであるERICSを提案する。
予測モデルのパラメータをランダム変数として扱うことにより、最適パラメータの分布の変化に対応する概念ドリフトが示される。
ERICSはまた、既存のアプローチよりも大きな利点である入力レベルで概念ドリフトを検出することができる。
論文 参考訳（メタデータ） (2020-10-19T11:19:16Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。