論文の概要: Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping

• arxiv url: http://arxiv.org/abs/2305.16777v1
• Date: Fri, 26 May 2023 09:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 15:51:22.040591
• Title: Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping
• Title（参考訳）: 自動訓練停止による教師なし深部外乱検出の可能性
• Authors: Yihong Huang, Yuang Zhang, Liping Wang, Xuemin Lin
• Abstract要約: 外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。 本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。 私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
• 参考スコア（独自算出の注目度）: 33.99128209697431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outlier detection (OD) has received continuous research interests due to its wide applications. With the development of deep learning, increasingly deep OD algorithms are proposed. Despite the availability of numerous deep OD models, existing research has reported that the performance of deep models is extremely sensitive to the configuration of hyperparameters (HPs). However, the selection of HPs for deep OD models remains a notoriously difficult task due to the lack of any labels and long list of HPs. In our study. we shed light on an essential factor, training time, that can introduce significant variation in the performance of deep model. Even the performance is stable across other HPs, training time itself can cause a serious HP sensitivity issue. Motivated by this finding, we are dedicated to formulating a strategy to terminate model training at the optimal iteration. Specifically, we propose a novel metric called loss entropy to internally evaluate the model performance during training while an automated training stopping algorithm is devised. To our knowledge, our approach is the first to enable reliable identification of the optimal training iteration during training without requiring any labels. Our experiments on tabular, image datasets show that our approach can be applied to diverse deep models and datasets. It not only enhances the robustness of deep models to their HPs, but also improves the performance and reduces plenty of training time compared to naive training.
• Abstract（参考訳）: outlier detection(od)はその幅広い応用により、継続的な研究の関心を集めている。 ディープラーニングの開発により、さらに深いodアルゴリズムが提案されている。 多くのディープodモデルが利用可能であるにもかかわらず、既存の研究によれば、ディープモデルの性能はハイパーパラメータ(hps)の構成に非常に敏感である。 しかし、深層odモデルに対するhpの選択は、ラベルやhpの長いリストがないため、悪名高いほど難しい作業である。 私たちの研究で 私たちは、深層モデルの性能に大きな変化をもたらす、重要な要素、トレーニング時間に光を当てました。 他のHPでは性能が安定しているが、トレーニング時間自体が深刻なHP感度問題を引き起こす可能性がある。 この発見に動機づけられ、我々は最適なイテレーションでモデルのトレーニングを終了させる戦略を策定することに専念する。 具体的には,学習中のモデル性能を内部的に評価し,自動学習停止アルゴリズムを考案するロスエントロピーと呼ばれる新しい指標を提案する。 我々の知る限り、私たちのアプローチは、ラベルを必要とせずにトレーニング中に最適なトレーニングイテレーションを確実に特定できる最初の方法です。 表型,画像データセットを用いた実験により,我々のアプローチが多種多様な深層モデルやデータセットに適用可能であることが示された。 ディープモデルの堅牢性をHPに拡張するだけでなく、パフォーマンスも向上し、単純なトレーニングに比べてトレーニング時間を短縮する。

関連論文リスト

• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Continual Learning of Unsupervised Monocular Depth from Videos [19.43053045216986]
  連続的教師なし深度推定(CUDE)の課題を捉える枠組みを導入する。 本稿では,時間的整合性を利用したリハーサルベースのデュアルメモリ手法MonoDepthCLを提案する。
  論文  参考訳（メタデータ） (2023-11-04T12:36:07Z)
• Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [32.15262629879272]
  我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。 鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。 HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
  論文  参考訳（メタデータ） (2023-07-20T02:07:20Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution [21.130842136324528]
  我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。 我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
  論文  参考訳（メタデータ） (2022-06-15T16:46:00Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
  本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
  論文  参考訳（メタデータ） (2021-09-27T17:11:25Z)
• Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
  本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。 いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
  論文  参考訳（メタデータ） (2021-09-14T12:53:35Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
  Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。 DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。 これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
  論文  参考訳（メタデータ） (2020-10-17T20:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。