論文の概要: Fast Unsupervised Deep Outlier Model Selection with Hypernetworks
- arxiv url: http://arxiv.org/abs/2307.10529v1
- Date: Thu, 20 Jul 2023 02:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 15:09:20.769031
- Title: Fast Unsupervised Deep Outlier Model Selection with Hypernetworks
- Title（参考訳）: Hypernetworks を用いた高速非教師付き深層モデル選択
- Authors: Xueying Ding, Yue Zhao, Leman Akoglu
- Abstract要約: 我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。
鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。
HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
- 参考スコア（独自算出の注目度）: 21.283433466754225
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Outlier detection (OD) finds many applications with a rich literature of
numerous techniques. Deep neural network based OD (DOD) has seen a recent surge
of attention thanks to the many advances in deep learning. In this paper, we
consider a critical-yet-understudied challenge with unsupervised DOD, that is,
effective hyperparameter (HP) tuning/model selection. While several prior work
report the sensitivity of OD models to HPs, it becomes ever so critical for the
modern DOD models that exhibit a long list of HPs. We introduce HYPER for
tuning DOD models, tackling two fundamental challenges: (1) validation without
supervision (due to lack of labeled anomalies), and (2) efficient search of the
HP/model space (due to exponential growth in the number of HPs). A key idea is
to design and train a novel hypernetwork (HN) that maps HPs onto optimal
weights of the main DOD model. In turn, HYPER capitalizes on a single HN that
can dynamically generate weights for many DOD models (corresponding to varying
HPs), which offers significant speed-up. In addition, it employs meta-learning
on historical OD tasks with labels to train a proxy validation function,
likewise trained with our proposed HN efficiently. Extensive experiments on 35
OD tasks show that HYPER achieves high performance against 8 baselines with
significant efficiency gains.
- Abstract（参考訳）: 外乱検出(OD)は、多くのテクニックの豊富な文献で多くの応用を見出す。
deep neural network based od (dod) は、ディープラーニングの多くの進歩によって、近年注目を集めている。
本稿では,教師なしDOD,すなわち実効性ハイパーパラメータ(HP)チューニング/モデル選択による批判的評価課題について考察する。
いくつかの先行研究では、ODモデルのHPに対する感受性が報告されているが、HPの長いリストを示す現代のDODモデルにとって、非常に重要になっている。
我々は,DODモデルのチューニングにHYPERを導入し,(1)監督のない検証(ラベル付き異常の欠如による)と(2)HP/モデル空間の効率的な探索(HP数の増加による)という2つの基本的な課題に対処する。
鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。
HYPERは、多くのDODモデルの重みを動的に生成できる単一のHN(HPの異なるモデルに対応する)に乗じて、大幅なスピードアップを実現している。
さらに,従来のODタスクのメタラーニングを利用して,提案したHNを効率的に訓練したプロキシ検証関数をラベルでトレーニングする。
35のODタスクに対する大規模な実験により、HYPERは高い効率で8つのベースラインに対して高いパフォーマンスを達成している。
関連論文リスト
- From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks [23.928893359202753]
ディープニューラルネットワーク(DNN)は多くの人工知能(AI)タスクで広く使われている。
それらのデプロイは、メモリ、エネルギ、計算の膨大なコストのために、大きな課題をもたらします。
近年,性能を保ちながらモデル効率を達成するための圧縮法の研究が急増している。
論文 参考訳（メタデータ） (2024-05-09T18:17:25Z) - DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。
DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-02-06T11:10:35Z) - Efficient Adaptive Human-Object Interaction Detection with
Concept-guided Memory [64.11870454160614]
概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。
ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。
提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
論文 参考訳（メタデータ） (2023-09-07T13:10:06Z) - Unleashing the Potential of Unsupervised Deep Outlier Detection through
Automated Training Stopping [33.99128209697431]
外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。
本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。
私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
論文 参考訳（メタデータ） (2023-05-26T09:39:36Z) - Applying Deep Reinforcement Learning to the HP Model for Protein
Structure Prediction [7.769624124148049]
本稿では,タンパク質の折り畳みに対するHPモデルに深部強化学習を適用した。
長寿命メモリ(LSTM)アーキテクチャに基づくDQNは、RL学習能力を大幅に向上し、探索処理を大幅に改善する。
実験により, 試行錯誤時に最もよく知られた解を複数発見できることが確認できた。
論文 参考訳（メタデータ） (2022-11-27T21:17:48Z) - Towards Unsupervised HPO for Outlier Detection [23.77292404327994]
我々はメタラーニングに基づくHPODと呼ばれる最初の体系的アプローチを提案する。
HPODは、既存のODベンチマークデータセット上でのHPの大規模なコレクションの以前のパフォーマンスを生かしている。
将来性のあるHPを効率的に特定するために、シーケンシャルなモデルベースの最適化(元々は教師付き)を適用する。
論文 参考訳（メタデータ） (2022-08-24T18:11:22Z) - Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution [21.130842136324528]
我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。
我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
論文 参考訳（メタデータ） (2022-06-15T16:46:00Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。
いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
論文 参考訳（メタデータ） (2021-09-14T12:53:35Z) - HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。
生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。
既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
論文 参考訳（メタデータ） (2020-05-21T08:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。