論文の概要: LLM-based Knowledge Pruning for Time Series Data Analytics on Edge-computing Devices
- arxiv url: http://arxiv.org/abs/2406.08765v1
- Date: Thu, 13 Jun 2024 02:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 21:38:10.863073
- Title: LLM-based Knowledge Pruning for Time Series Data Analytics on Edge-computing Devices
- Title（参考訳）: エッジコンピューティングデバイスにおける時系列データ解析のためのLLMに基づく知識処理
- Authors: Ruibing Jin, Qing Xu, Min Wu, Yuecong Xu, Dan Li, Xiaoli Li, Zhenghua Chen,
- Abstract要約: 時系列学習のための新しいパラダイムであるKP(Knowledge Pruning)を提案する。
他の方法とは異なり、我々のKPは冗長な知識を掘り起こし、関連する知識をターゲットモデルにのみ蒸留することを目的としています。
提案したKPにより、軽量ネットワークは適切な知識を効果的に学習し、良好な性能を低コストで達成することができる。
- 参考スコア（独自算出の注目度）: 23.18319883190927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Limited by the scale and diversity of time series data, the neural networks trained on time series data often overfit and show unsatisfacotry performances. In comparison, large language models (LLMs) recently exhibit impressive generalization in diverse fields. Although massive LLM based approaches are proposed for time series tasks, these methods require to load the whole LLM in both training and reference. This high computational demands limit practical applications in resource-constrained settings, like edge-computing and IoT devices. To address this issue, we propose Knowledge Pruning (KP), a novel paradigm for time series learning in this paper. For a specific downstream task, we argue that the world knowledge learned by LLMs is much redundant and only the related knowledge termed as "pertinent knowledge" is useful. Unlike other methods, our KP targets to prune the redundant knowledge and only distill the pertinent knowledge into the target model. This reduces model size and computational costs significantly. Additionally, different from existing LLM based approaches, our KP does not require to load the LLM in the process of training and testing, further easing computational burdens. With our proposed KP, a lightweight network can effectively learn the pertinent knowledge, achieving satisfactory performances with a low computation cost. To verify the effectiveness of our KP, two fundamental tasks on edge-computing devices are investigated in our experiments, where eight diverse environments or benchmarks with different networks are used to verify the generalization of our KP. Through experiments, our KP demonstrates effective learning of pertinent knowledge, achieving notable performance improvements in regression (19.7% on average) and classification (up to 13.7%) tasks, showcasing state-of-the-art results.
- Abstract（参考訳）: 時系列データのスケールと多様性によって制限され、時系列データに基づいてトレーニングされたニューラルネットワークは、しばしば過度に適合し、不満足なパフォーマンスを示す。
比較として,大規模言語モデル (LLM) は近年,様々な分野において顕著な一般化が見られた。
時系列タスクには大規模なLLMベースのアプローチが提案されているが、これらの手法はトレーニングと参照の両方でLLM全体をロードする必要がある。
この高い計算要求は、エッジコンピューティングやIoTデバイスのようなリソース制約のある設定における実用的応用を制限する。
そこで本稿では,時系列学習のための新しいパラダイムであるKP(Knowledge Pruning)を提案する。
特定の下流課題に対しては、LLMによって学習される世界知識ははるかに冗長であり、「関連する知識」と呼ばれる関連する知識のみが有用である、と論じる。
他の方法とは異なり、我々のKPは冗長な知識を掘り起こし、関連する知識をターゲットモデルにのみ蒸留することを目的としています。
これにより、モデルのサイズと計算コストが大幅に削減される。
さらに、既存のLLMベースのアプローチとは違い、我々のKPはトレーニングやテストの過程でLLMをロードする必要がなく、計算負担が軽減される。
提案したKPにより、軽量ネットワークは、計算コストの低い良好な性能を達成し、関連する知識を効果的に学習することができる。
KPの有効性を検証するために、エッジコンピューティングデバイスにおける2つの基本的なタスクを実験で検討し、KPの一般化を検証するために、異なるネットワークを持つ8つの多様な環境またはベンチマークを用いている。
実験を通じて、我々のKPは、関連する知識を効果的に学習し、回帰(平均19.7%)および分類(最大13.7%)タスクにおいて顕著なパフォーマンス向上を達成し、最先端の結果を示す。
関連論文リスト
- KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。
本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。
提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文 参考訳（メタデータ） (2024-11-22T08:21:03Z) - Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - LLMs Are In-Context Reinforcement Learners [30.192422586838997]
大規模言語モデル(LLM)は、コンテキスト内教師あり学習(ICL)を通じて新しいタスクを学習することができる。
この研究は、この能力が文脈内強化学習(ICRL)にまで拡張されるかどうかを研究する。
本稿では、テスト時間計算の増加と計算バウンド近似により、この欠陥に対処するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-07T17:45:00Z) - Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning [37.745896674964186]
マルチタスク学習(MTL)は,複数のタスクを同時に学習することで,複数のタスクにおけるモデルの一般化性能を向上させることを目的としている。
連続学習(CL)は、以前取得した知識を忘れずに、時間とともに新しい逐次到着タスクに適応する。
MTL設定におけるモデルの性能に及ぼす各種システムパラメータの影響を理論的に記述する。
その結果,バッファサイズとモデルキャパシティがCLセットアップの記憶率に及ぼす影響を明らかにし,最先端のCL手法のいくつかに光を当てるのに役立つことがわかった。
論文 参考訳（メタデータ） (2024-08-29T23:22:40Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices [32.61693246340064]
資源制約のある計算環境がパーソナライズされたLLMの設計選択にどのように影響するかを検討する。
いくつかの重要な設計要因のトレードオフと、学習効率と正確性に対するそれらの相互干渉の影響を考察する。
論文 参考訳（メタデータ） (2024-06-06T06:41:53Z) - Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。
我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。
実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
論文 参考訳（メタデータ） (2024-05-10T15:10:20Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。
この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。
我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文 参考訳（メタデータ） (2024-02-07T01:46:50Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳（メタデータ） (2023-10-10T16:38:49Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models [12.708117108874083]
大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。
従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。
本稿では,本論文の総合的研究について述べる。
自動コード生成シナリオにおけるLLMのためのPEFT技術。
論文 参考訳（メタデータ） (2023-08-21T04:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。