論文の概要: Exploiting the Power of Levenberg-Marquardt Optimizer with Anomaly
Detection in Time Series
- arxiv url: http://arxiv.org/abs/2111.06060v1
- Date: Thu, 11 Nov 2021 05:57:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-12 21:38:50.108259
- Title: Exploiting the Power of Levenberg-Marquardt Optimizer with Anomaly
Detection in Time Series
- Title（参考訳）: 時系列異常検出によるlevenberg-marquardtオプティマイザのパワー活用
- Authors: Wenyi Wang, John Taylor and Biswajit Bala
- Abstract要約: Levenberg-Marquardt (LM) 最適化アルゴリズムは機械学習の問題を解決するために広く利用されている。
我々は、実世界の航空機のデータセットを用いて、LMアルゴリズムの真のパワーを利用する。
LMは急激な変化を近似し、他のデータセットよりも異常を検出する能力がはるかに優れている。
- 参考スコア（独自算出の注目度）: 1.3707109633905723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Levenberg-Marquardt (LM) optimization algorithm has been widely used for
solving machine learning problems. Literature reviews have shown that the LM
can be very powerful and effective on moderate function approximation problems
when the number of weights in the network is not more than a couple of hundred.
In contrast, the LM does not seem to perform as well when dealing with pattern
recognition or classification problems, and inefficient when networks become
large (e.g. with more than 500 weights). In this paper, we exploit the true
power of LM algorithm using some real world aircraft datasets. On these
datasets most other commonly used optimizers are unable to detect the anomalies
caused by the changing conditions of the aircraft engine. The challenging
nature of the datasets are the abrupt changes in the time series data. We find
that the LM optimizer has a much better ability to approximate abrupt changes
and detect anomalies than other optimizers. We compare the performance, in
addressing this anomaly/change detection problem, of the LM and several other
optimizers. We assess the relative performance based on a range of measures
including network complexity (i.e. number of weights), fitting accuracy, over
fitting, training time, use of GPUs and memory requirement etc. We also discuss
the issue of robust LM implementation in MATLAB and Tensorflow for promoting
more popular usage of the LM algorithm and potential use of LM optimizer for
large-scale problems.
- Abstract（参考訳）: Levenberg-Marquardt (LM) 最適化アルゴリズムは機械学習の問題を解決するために広く利用されている。
文献レビューでは、ネットワーク内の重み数が数百に満たない場合、lmは中程度の関数近似問題に対して非常に強力で効果的であることが示されている。
対照的に、lmはパターン認識や分類の問題を扱う場合にはあまり効果がなく、ネットワークが大きくなった場合(例えば500ポンド以上)には非効率である。
本稿では,実世界の航空機データセットを用いてlmアルゴリズムの真のパワーを利用する。
これらのデータセットでは、一般的なオプティマイザのほとんどは、航空機エンジンの条件の変化によって生じる異常を検出することができない。
データセットの困難な性質は、時系列データの突然の変更である。
LMオプティマイザは急激な変化を近似し,他のオプティマイザよりも異常を検出する能力が優れていることがわかった。
我々は,この異常/変化検出問題に対するlmと他の最適化器の性能比較を行った。
ネットワークの複雑性(ウェイト数)、適合精度、オーバーフィッティング、トレーニング時間、GPUの使用、メモリ要件など、さまざまな測定値に基づいて、相対的なパフォーマンスを評価する。
また,matlab と tensorflow による lm アルゴリズムの普及促進のための堅牢な lm 実装の問題や,大規模な問題に対する lm オプティマイザ の利用の可能性についても論じる。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。
本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文 参考訳（メタデータ） (2024-06-24T04:17:03Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳（メタデータ） (2024-01-29T18:43:49Z) - Quantile LSTM: A Robust LSTM for Anomaly Detection In Time Series Data [0.0]
我々は、時間的長期依存性をモデル化するために、人気のあるLong Short Term Memory Network (LSTM) アーキテクチャで新しい学習可能なアクティベーション関数を使用する。
提案アルゴリズムは、分離フォレスト(iForest)、楕円エンベロープ、オートエンコーダ、およびDeep Autoencoding Gaussian Mixture Model (DAGMM)、Generative Adversarial Networks (GAN)のような現代のディープラーニングモデルなど、他のよく知られた異常検出アルゴリズムと比較される。
このアルゴリズムは、Yahoo、AWS、GE、マシンセンサーなど、複数の産業時系列データセットでテストされている。
論文 参考訳（メタデータ） (2023-02-17T06:03:16Z) - Resource frugal optimizer for quantum machine learning [0.7046417074932257]
量子機械学習(Quantum Machine Learning、QML)は、量子コンピュータの応用分野として注目されている。
変分QMLアルゴリズムは、特に量子データを含む場合、実際のハードウェアにおける実用的な問題を解く可能性がある。
我々は、損失関数を定義する測度演算子と同様に、両方のデータセットに対して同時ランダムサンプリングを提唱する。
論文 参考訳（メタデータ） (2022-11-09T15:29:03Z) - Optimizing the optimizer for data driven deep neural networks and
physics informed neural networks [2.54325834280441]
ニューラルネットワークに適合するモデルの品質を,小～中程度のパラメータで決定する手法について検討する。
LMアルゴリズムは機械の精度に迅速に収束でき、他のアルゴリズムよりも大きな利点があることがわかった。
論文 参考訳（メタデータ） (2022-05-16T02:42:22Z) - Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
低ランク行列近似は機械学習における中心的な概念の1つである。
低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。
重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T22:03:48Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - Efficient time stepping for numerical integration using reinforcement
learning [0.15393457051344295]
機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。
まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。
次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
論文 参考訳（メタデータ） (2021-04-08T07:24:54Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。