論文の概要: TOD: Tensor-based Outlier Detection
- arxiv url: http://arxiv.org/abs/2110.14007v1
- Date: Tue, 26 Oct 2021 20:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 10:57:39.722273
- Title: TOD: Tensor-based Outlier Detection
- Title(参考訳): tod:テンソルに基づく異常検出
- Authors: Yue Zhao, George H. Chen, Zhihao Jia
- Abstract要約: TODは、外乱検出アルゴリズムを効率的なGPUアクセラレーションのための基本的な操作に抽象化するシステムである。
TODを時間と空間の両方で高効率にするために、ハードウェアとソフトウェアの両方におけるディープラーニングインフラストラクチャの最近の進歩を活用します。
- 参考スコア(独自算出の注目度): 12.939671652434034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To scale outlier detection (OD) to large-scale, high-dimensional datasets, we
propose TOD, a novel system that abstracts OD algorithms into basic tensor
operations for efficient GPU acceleration. To make TOD highly efficient in both
time and space, we leverage recent advances in deep learning infrastructure in
both hardware and software. To deploy large OD applications on GPUs with
limited memory, we introduce two key techniques. First, provable quantization
accelerates OD computation and reduces the memory requirement by performing
specific OD computations in lower precision while provably guaranteeing no
accuracy loss. Second, to exploit the aggregated compute resources and memory
capacity of multiple GPUs, we introduce automatic batching, which decomposes OD
computations into small batches that can be executed on multiple GPUs in
parallel.
TOD supports a comprehensive set of OD algorithms and utility functions.
Extensive evaluation on both real and synthetic OD datasets shows that TOD is
on average 11.9X faster than the state-of-the-art comprehensive OD system PyOD,
and takes less than an hour to detect outliers within a million samples. TOD
enables straightforward integration for additional OD algorithms and provides a
unified framework for combining classical OD algorithms with deep learning
methods. These combinations result in an infinite number of OD methods, many of
which are novel and can be easily prototyped in TOD.
- Abstract(参考訳): 大規模で高次元なデータセットに外乱検出(OD)をスケールするために,効率的なGPUアクセラレーションのためにODアルゴリズムを基本テンソル演算に抽象化するTODを提案する。
TODを時間と空間の両方で高効率にするために、ハードウェアとソフトウェアの両方におけるディープラーニングインフラストラクチャの最近の進歩を活用します。
メモリに制限のあるgpu上に大規模odアプリケーションをデプロイするには,2つの重要な技術を導入する。
第1に、証明可能な量子化はod計算を高速化し、特定のod計算を少ない精度で実行することでメモリ要求を低減し、精度の低下を保証できる。
第二に、複数のGPUの集約された計算資源とメモリ容量を活用するために、複数のGPU上で並列に実行できる小さなバッチにOD計算を分解する自動バッチ処理を導入する。
TODはODアルゴリズムとユーティリティ関数の包括的なセットをサポートする。
実および合成のodデータセットの広範な評価により、todは最先端の総合odシステムpyodよりも平均11.9倍高速であり、100万サンプル以内の異常検出に1時間もかからないことがわかった。
todは、追加のodアルゴリズムの簡単な統合を可能にし、古典的なodアルゴリズムとディープラーニングメソッドを組み合わせるための統一フレームワークを提供する。
これらの組み合わせは無限に多くのODメソッドをもたらし、その多くが新しいもので、TODで容易にプロトタイプ化できる。
関連論文リスト
- DOMINO: Domain-invariant Hyperdimensional Classification for
Multi-Sensor Time Series Data [14.434647668734184]
ノイズの多いマルチセンサ時系列データにおける分散シフト問題に対処する新しいHDC学習フレームワークであるDOMINOを提案する。
DOMINOは最先端(SOTA)DNNベースのドメイン一般化技術よりも平均2.04%高い精度で達成し、16.34倍高速なトレーニングと2.89倍高速な推論を提供する。
論文 参考訳(メタデータ) (2023-08-07T04:44:12Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳(メタデータ) (2022-07-09T09:14:12Z) - Binary Single-dimensional Convolutional Neural Network for Seizure
Prediction [4.42106872060105]
てんかん発作予測のための2次元畳み込みニューラルネットワーク(BSDCNN)を提案する。
BSDCNNは1D畳み込みカーネルを使用して予測性能を向上させる。
曲線、感度、誤予測率は0.915、89.26%、0.117/h、0.970、94.69%、0.095/hに達する。
論文 参考訳(メタデータ) (2022-06-08T09:27:37Z) - A memory-efficient neural ODE framework based on high-level adjoint
differentiation [4.063868707697316]
我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。
PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
論文 参考訳(メタデータ) (2022-06-02T20:46:26Z) - High Performance Out-of-sample Embedding Techniques for Multidimensional
Scaling [0.5156484100374058]
我々は,大規模なデータに対するMDSアルゴリズムを拡張するために,サンプル外埋め込み(OSE)ソリューションを提案する。
我々は2つのOSE技術を提案する。1つは最適化アプローチに基づくもので、もう1つはニューラルネットワークモデルに基づくものである。
論文 参考訳(メタデータ) (2021-11-07T12:36:33Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators
using Reinforcement Learning [5.251940442946459]
本研究では、与えられたモデルとデータフロースタイルに対して最適化されたHWリソース割り当てを見つけるために、ConfuciuXと呼ばれる自律的戦略を提案する。
最適化されたハードウェア構成4.7から24倍の速度で収束する。
論文 参考訳(メタデータ) (2020-09-04T04:59:26Z) - Binary DAD-Net: Binarized Driveable Area Detection Network for
Autonomous Driving [94.40107679615618]
本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。
エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。
パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
論文 参考訳(メタデータ) (2020-06-15T07:09:01Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。