論文の概要: MADLLM: Multivariate Anomaly Detection via Pre-trained LLMs

• arxiv url: http://arxiv.org/abs/2504.09504v1
• Date: Sun, 13 Apr 2025 10:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:02.290839
• Title: MADLLM: Multivariate Anomaly Detection via Pre-trained LLMs
• Title（参考訳）: MADLLM: 事前訓練LDMによる多変量異常検出
• Authors: Wei Tao, Xiaoyang Qu, Kai Lu, Jiguang Wan, Guokuan Li, Jianzong Wang,
• Abstract要約: 本稿では,事前学習LLMを用いた新しい多変量異常検出手法MADLLMを紹介する。 本手法は,従来のパッチ埋め込み手法と2つの新しい埋め込み手法を統合し,MTSモダリティをLLMのテキストモダリティと整合させる新しい3重符号化手法を設計する。
• 参考スコア（独自算出の注目度）: 28.943480387462703
• License:
• Abstract: When applying pre-trained large language models (LLMs) to address anomaly detection tasks, the multivariate time series (MTS) modality of anomaly detection does not align with the text modality of LLMs. Existing methods simply transform the MTS data into multiple univariate time series sequences, which can cause many problems. This paper introduces MADLLM, a novel multivariate anomaly detection method via pre-trained LLMs. We design a new triple encoding technique to align the MTS modality with the text modality of LLMs. Specifically, this technique integrates the traditional patch embedding method with two novel embedding approaches: Skip Embedding, which alters the order of patch processing in traditional methods to help LLMs retain knowledge of previous features, and Feature Embedding, which leverages contrastive learning to allow the model to better understand the correlations between different features. Experimental results demonstrate that our method outperforms state-of-the-art methods in various public anomaly detection datasets.
• Abstract（参考訳）: 異常検出タスクに事前訓練された大言語モデル(LLM)を適用する場合、異常検出の多変量時系列(MTS)モダリティはLLMのテキストモダリティと一致しない。 既存の方法は、MSSデータを複数の単変量時系列列に変換するだけで、多くの問題を引き起こす可能性がある。 本稿では,事前学習LLMを用いた新しい多変量異常検出手法MADLLMを紹介する。 我々は,MTSモダリティとLLMのテキストモダリティを整合させる新しい3重符号化手法を設計する。 具体的には、従来のパッチ埋め込み手法と、従来の手法でパッチ処理の順序を変更したSkip Embeddingと、対照的な学習を活用して、異なる特徴間の相関関係をよりよく理解できるようにするFeature Embeddingである。 実験結果から,本手法は各種公開異常検出データセットの最先端手法よりも優れていることが示された。

関連論文リスト

• Using Pre-trained LLMs for Multivariate Time Series Forecasting [41.67881279885103]
  事前訓練された大規模言語モデル(LLM)は大量の知識をカプセル化し、大量の計算を訓練に要する。 我々は、LLMが知識と性能をあるドメインから、あるいは他の一見無関係な領域へ伝達できるという観察とともに、このリソースを活用している。
  論文  参考訳（メタデータ） (2025-01-10T23:30:23Z)
• Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination [18.586654412992168]
  MLLM(Multimodal large language model)は、様々なマルチモーダルベンチマークにおいて優れた性能を示す。 トレーニング中のデータ汚染の問題は、パフォーマンス評価と比較の課題を生み出します。 MLLM向けに設計されたマルチモーダルデータ汚染検出フレームワークMM-Detectを導入する。
  論文  参考訳（メタデータ） (2024-11-06T10:44:15Z)
• Large Language Models for Anomaly Detection in Computational Workflows: from Supervised Fine-Tuning to In-Context Learning [9.601067780210006]
  本稿では,大規模言語モデル(LLM)を用いて,複雑なデータパターンの学習能力を活用することにより,ワークフローの異常検出を行う。 教師付き微調整 (SFT) では, 文分類のためのラベル付きデータに基づいて事前学習したLCMを微調整し, 異常を識別する。
  論文  参考訳（メタデータ） (2024-07-24T16:33:04Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection [34.40206965758026]
  時系列異常検出(TSAD)は、標準トレンドから逸脱する非定型パターンを特定することで、様々な産業において重要な役割を果たす。 従来のTSADモデルは、しばしばディープラーニングに依存しており、広範なトレーニングデータを必要とし、ブラックボックスとして動作する。 LLMADは,Large Language Models (LLMs) を用いて,高精度かつ解釈可能なTSAD結果を提供する新しいTSAD手法である。
  論文  参考訳（メタデータ） (2024-05-24T09:07:02Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。