論文の概要: Efficient Multivariate Time Series Anomaly Detection Through Transfer Learning for Large-Scale Web services
- arxiv url: http://arxiv.org/abs/2408.12247v1
- Date: Thu, 22 Aug 2024 09:36:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 14:33:24.954349
- Title: Efficient Multivariate Time Series Anomaly Detection Through Transfer Learning for Large-Scale Web services
- Title（参考訳）: 大規模Webサービスにおける転送学習による多変量時系列異常検出の効率化
- Authors: Shenglin Zhang, Pengtian Zhu, Minghua Ma, Jiagang Wang, Yongqian Sun, Dongwen Li, Jingyu Wang, Qianying Guo, Xiaolei Hua, Lin Zhu, Dan Pei,
- Abstract要約: 大規模言語モデル(LLM)は、一般的な質問回答(Q&A)では優れているが、ドメイン固有の知識が不足しているため、専門分野では不足することが多い。
本稿では,軽量なオープンソース LLM を活用することで,これらの問題に対処する新しいフレームワークであるSelf-Evolutionを提案する。
我々はQwen1.5-7B-Chat上での自己進化(Self-Evolution)を、China Mobileの豊富なドメイン知識を含む4000のドキュメントを用いて採用する。
中国モバイルの毎日の運用とメンテナンスに117日間、セルフエボリューションが展開され、アラームの発見、問題修正、関連するレポートの発見の効率が向上している。
- 参考スコア（独自算出の注目度）: 18.104348662774868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) excel at general question-answering (Q&A) but often fall short in specialized domains due to a lack of domain-specific knowledge. Commercial companies face the dual challenges of privacy protection and resource constraints when involving LLMs for fine-tuning. This paper propose a novel framework, Self-Evolution, designed to address these issues by leveraging lightweight open-source LLMs through multiple iterative fine-tuning rounds. To enhance the efficiency of iterative fine-tuning, Self-Evolution employ a strategy that filters and reinforces the knowledge with higher value during the iterative process. We employed Self-Evolution on Qwen1.5-7B-Chat using 4,000 documents containing rich domain knowledge from China Mobile, achieving a performance score 174% higher on domain-specific question-answering evaluations than Qwen1.5-7B-Chat and even 22% higher than Qwen1.5-72B-Chat. Self-Evolution has been deployed in China Mobile's daily operation and maintenance for 117 days, and it improves the efficiency of locating alarms, fixing problems, and finding related reports, with an average efficiency improvement of over 18.6%. In addition, we release Self-Evolution framework code in https://github.com/Zero-Pointer/Self-Evolution.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、一般的な質問回答(Q&A)では優れているが、ドメイン固有の知識が不足しているため、専門分野では不足することが多い。
企業では、微調整のためにLLMを巻き込む場合、プライバシー保護とリソース制約という2つの課題に直面している。
本稿では,複数の反復的な微調整ラウンドを通じて軽量なLLMを活用することで,これらの問題に対処する新しいフレームワークであるSelf-Evolutionを提案する。
反復的微調整の効率を高めるために、Self-Evolutionでは、反復的プロセス中に高い価値で知識をフィルタリングし強化する戦略を採用している。
また,Qwen1.5-7B-ChatよりもQwen1.5-7B-Chat,さらにQwen1.5-72B-Chatより22%高い結果を得た。
セルフエボリューション(Self-Evolution)は、中国モバイルの日常業務とメンテナンスに117日間展開され、アラームの発見、問題修正、および関連する報告の発見の効率を改善し、18.6%以上の効率改善を実現している。
さらに、私たちはSelf-Evolutionフレームワークのコードをhttps://github.com/Zero-Pointer/Self-Evolutionでリリースしています。
関連論文リスト
- Auto-Evolve: Enhancing Large Language Model's Performance via Self-Reasoning Framework [0.0]
Auto-Evolveは、大規模言語モデルが動的推論モジュールを自己生成できるようにする新しいフレームワークである。
我々は、Claude 2.0、Claude 3 Sonnet、Mistral Large、GPT 4による挑戦的なBigBench-HardデータセットのAuto-Evolveを評価する。
論文 参考訳（メタデータ） (2024-10-08T20:07:47Z) - Eagle: Efficient Training-Free Router for Multi-LLM Inference [6.8089979954033]
さまざまな能力とコストを持つ大規模言語モデル(LLM)は、AIシステムにおける効率的なモデル選択の必要性を生み出している。
グローバルおよびローカルELOランキングモジュールを組み合わせた,新しいLLMルーティング手法であるEagleを提案する。
イーグルは、AUC(Area Under Curve)スコアで最大23.2%の改善とともに、ベースライン法を一貫して上回っている。
論文 参考訳（メタデータ） (2024-09-23T20:10:10Z) - ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [53.97515452727115]
ChatQA 2は、128Kコンテキストウィンドウを備えたLlama 3.0ベースのモデルである。
Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。
以上の結果から,Llama3-ChatQA-2-70Bモデルは既存の最先端モデルよりも優れていた。
論文 参考訳（メタデータ） (2024-07-19T17:35:47Z) - RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。
本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。
例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
論文 参考訳（メタデータ） (2024-07-02T17:59:17Z) - FoRAG: Factuality-optimized Retrieval Augmented Generation for Web-enhanced Long-form Question Answering [11.73887020240588]
本稿では,多面的回答の生成において明確な論理を実現するために,新しいアウトライン強化ジェネレータを提案する。
そこで本研究では,2つの微細なRLHFフレームワークを念頭に設計したファクトリティ最適化手法を提案する。
特に,本手法をLlama2-7B-chatに適用する場合,導出モデルFoRAG-L-7BはWebGPT-175Bを3つの一般的なメトリクスで上回っている。
論文 参考訳（メタデータ） (2024-06-19T19:06:36Z) - How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites [114.22835695929682]
InternVL 1.5はオープンソースのマルチモーダル大言語モデル(MLLM)である。
マルチモーダル理解において、オープンソースとプロプライエタリな商用モデルの間の能力ギャップを埋める。
論文 参考訳（メタデータ） (2024-04-25T17:59:19Z) - The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。
我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
論文 参考訳（メタデータ） (2024-01-15T18:25:18Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳（メタデータ） (2023-10-11T15:56:00Z) - QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。
その動機は量子化と適応の自由の不均衡度にある。
QA-LoRAは数行のコードで簡単に実装できる。
論文 参考訳（メタデータ） (2023-09-26T07:22:23Z) - Explicit and Implicit Semantic Ranking Framework [13.356884800150457]
自己学習型セマンティック・クロスアテンションランキング(sRank)を導入した汎用的なセマンティック・ラーニング・ツー・ランク・フレームワークを提案する。
このフレームワークは、可変トレーニングバッチサイズで線形ペアワイズロスを使用し、品質向上と高い効率を達成する。
これは、現実世界の大規模データセットよりも、Microsoftの2つの業界タスクの利益を示すために、効果的に適用されている。
論文 参考訳（メタデータ） (2023-04-11T01:10:49Z) - AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data [120.2298620652828]
オープンソースのAutoMLフレームワークであるAutoGluon-Tabularを紹介します。
KaggleとOpenML AutoML Benchmarkの50の分類および回帰タスクからなるスイートのテストによると、AutoGluonはより速く、より堅牢で、はるかに正確である。
論文 参考訳（メタデータ） (2020-03-13T23:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。