論文の概要: Synergizing Large Language Models and Task-specific Models for Time Series Anomaly Detection

• arxiv url: http://arxiv.org/abs/2501.05675v3
• Date: Thu, 23 Jan 2025 04:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:47.028247
• Title: Synergizing Large Language Models and Task-specific Models for Time Series Anomaly Detection
• Title（参考訳）: 時系列異常検出のための大規模言語モデルとタスク固有モデルの統合
• Authors: Feiyi Chen, Leilei Zhang, Guansong Pang, Roger Zimmermann, Shuiguang Deng,
• Abstract要約: 大規模言語モデル(LLM)は専門文書を読むことによって専門家の知識を取り入れることができるが、タスク固有の小さなモデルは通常のデータパターンの抽出に優れている。 本研究では,LLMとタスク固有モデル間の協調を支援するフレームワークであるCoLLaTeを提案する。
• 参考スコア（独自算出の注目度）: 35.838329082429375
• License:
• Abstract: In anomaly detection, methods based on large language models (LLMs) can incorporate expert knowledge by reading professional document, while task-specific small models excel at extracting normal data patterns and detecting value fluctuations from training data of target applications. Inspired by the human nervous system, where the brain stores expert knowledge and the peripheral nervous system and spinal cord handle specific tasks like withdrawal and knee-jerk reflexes, we propose CoLLaTe, a framework designed to facilitate collaboration between LLMs and task-specific models, leveraging the strengths of both models for anomaly detection. In particular, we first formulate the collaboration process and identify two key challenges in the collaboration: (1) the misalignment between the expression domains of the LLMs and task-specific small models, and (2) error accumulation arising from the predictions of both models. To address these challenges, we then introduce two key components in CoLLaTe: a model alignment module and a collaborative loss function. Through theoretical analysis and experimental validation, we demonstrate that these components effectively mitigate the identified challenges and achieve better performance than both LLM-based and task-specific models.
• Abstract（参考訳）: 異常検出では、大規模言語モデル(LLM)に基づく手法は専門文書を読み取ることによって専門家の知識を取り入れることができるが、タスク固有の小型モデルは通常のデータパターンを抽出し、ターゲットアプリケーションのトレーニングデータから値変動を検出するのが得意である。 脳が専門知識を蓄積し、末梢神経系と脊髄が離脱や膝関節反射などの特定のタスクを処理している人間の神経系に触発されて、我々は、両方のモデルの強みを活用して、LSMとタスク固有モデルとの協調を促進するために設計されたフレームワークであるCoLLaTeを提案する。 特に,(1)LLMの表現領域とタスク固有小モデルとのミスアライメント,(2)両モデルの予測から生じるエラー蓄積という2つの重要な課題について,協調プロセスの定式化と共同作業における課題の特定を行う。 これらの課題に対処するため、CoLLaTeにはモデルアライメントモジュールと協調的損失関数という2つの重要なコンポーネントを導入しました。 理論的解析と実験的な検証により、これらのコンポーネントは特定された課題を効果的に軽減し、LLMベースのモデルとタスク固有のモデルの両方よりも優れた性能を達成することを実証する。

関連論文リスト

• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability [12.349247962800813]
  大規模言語モデル(LLM)は多くのAI問題に対する強力なツールとして登場した。 また、ICL(In-context Learning)機能も備えている。 複合的なタスクにどのようにアプローチするかは、未解明の未解決の問題のままである。
  論文  参考訳（メタデータ） (2024-07-22T15:22:34Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism [7.479892725446205]
  マルチタスク学習(MTL)は、異なるレベルで情報を共有することで複数のタスクを同時に学習するパラダイムである。 異なるタスクが相互に影響のある相関出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。 我々は,MTLモデルにフィードバック機構を組み込むことで,あるタスクの出力が他のタスクの隠れ機能として機能する。
  論文  参考訳（メタデータ） (2024-04-01T03:27:34Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• Cross-Task Consistency Learning Framework for Multi-Task Learning [9.991706230252708]
  2タスクMTL問題に対する新しい学習フレームワークを提案する。 サイクル一貫性損失とコントラスト学習に着想を得た2つの新たな損失項を定義する。 理論的には、どちらの損失もモデルをより効率的に学習する助けとなり、直進予測と整合する点において、クロスタスクの整合性損失がより良いことを証明している。
  論文  参考訳（メタデータ） (2021-11-28T11:55:19Z)
• Learning from demonstration using products of experts: applications to manipulation and task prioritization [12.378784643460474]
  異なるタスク空間におけるモデルの融合は、専門家(PoE)の積として表現できることを示す。 複数の実験を行い、PoEフレームワークで異なるモデルを共同で学習することで、モデルの品質が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-10-07T16:24:41Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。