論文の概要: Learned Compression of Nonlinear Time Series With Random Access
- arxiv url: http://arxiv.org/abs/2412.16266v1
- Date: Fri, 20 Dec 2024 10:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:58:56.635416
- Title: Learned Compression of Nonlinear Time Series With Random Access
- Title(参考訳): ランダムアクセスによる非線形時系列の学習圧縮
- Authors: Andrea Guerra, Giorgio Vinciguerra, Antonio Boffa, Paolo Ferragina,
- Abstract要約: 時系列は金融、医療、産業、環境モニタリングなど多くの分野で重要な役割を果たしている。
我々は、時系列を非線形関数列に近似するランダムアクセス可能な圧縮スキームNeaTSを紹介する。
実験の結果,NeaTSは最先端の損失圧縮機の圧縮比を最大14%向上することがわかった。
- 参考スコア(独自算出の注目度): 2.564905016909138
- License:
- Abstract: Time series play a crucial role in many fields, including finance, healthcare, industry, and environmental monitoring. The storage and retrieval of time series can be challenging due to their unstoppable growth. In fact, these applications often sacrifice precious historical data to make room for new data. General-purpose compressors can mitigate this problem with their good compression ratios, but they lack efficient random access on compressed data, thus preventing real-time analyses. Ad-hoc streaming solutions, instead, typically optimise only for compression and decompression speed, while giving up compression effectiveness and random access functionality. Furthermore, all these methods lack awareness of certain special regularities of time series, whose trends over time can often be described by some linear and nonlinear functions. To address these issues, we introduce NeaTS, a randomly-accessible compression scheme that approximates the time series with a sequence of nonlinear functions of different kinds and shapes, carefully selected and placed by a partitioning algorithm to minimise the space. The approximation residuals are bounded, which allows storing them in little space and thus recovering the original data losslessly, or simply discarding them to obtain a lossy time series representation with maximum error guarantees. Our experiments show that NeaTS improves the compression ratio of the state-of-the-art lossy compressors that use linear or nonlinear functions (or both) by up to 14%. Compared to lossless compressors, NeaTS emerges as the only approach to date providing, simultaneously, compression ratios close to or better than the best existing compressors, a much faster decompression speed, and orders of magnitude more efficient random access, thus enabling the storage and real-time analysis of massive and ever-growing amounts of (historical) time series data.
- Abstract(参考訳): 時系列は金融、医療、産業、環境モニタリングなど多くの分野で重要な役割を果たしている。
時系列の保存と検索は、その持続不可能な成長のために困難である可能性がある。
実際、これらのアプリケーションは、しばしば貴重な歴史的データを犠牲にして、新しいデータを作る余地を作る。
汎用圧縮機は良好な圧縮比でこの問題を軽減することができるが、圧縮データに対する効率的なランダムアクセスが欠如しており、リアルタイム解析ができない。
アドホックなストリーミングソリューションは、圧縮効率とランダムアクセス機能を確保しながら、圧縮と圧縮速度だけを最適化する。
さらに、これらの手法は時系列の特定の特殊規則性を意識していないが、その時間的傾向は線形関数や非線形関数によって説明されることが多い。
これらの問題に対処するため,我々は,時系列を異なる種類の非線形関数列に近似したランダムにアクセス可能な圧縮方式NeaTSを導入し,分割アルゴリズムによって慎重に選択・配置し,空間を最小化する。
近似残差は有界であり、少ない空間で保存でき、したがって元のデータを損失なく復元することができる。
実験の結果,NeaTSは線形あるいは非線形関数(またはその両方)を使用する最先端の損失圧縮機の圧縮比を最大14%向上することがわかった。
ロスレス圧縮機と比較して、NeaTSは、既存の圧縮機よりも近い圧縮比、はるかに高速な圧縮速度、そして桁違いに効率的なランダムアクセスを提供する唯一のアプローチとして登場し、膨大な(歴史的)時系列データの保存とリアルタイム解析を可能にした。
関連論文リスト
- Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。
FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
論文 参考訳(メタデータ) (2024-10-10T15:13:08Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳(メタデータ) (2024-10-04T03:10:53Z) - Hyper-Compression: Model Compression via Hyperfunction [20.47369296713829]
本稿では,遺伝子型と表現型との相同性に着想を得た,いわゆるハイパー圧縮を提案する。
LLaMA2-7Bを1時間で圧縮し、再トレーニングすることなく、近距離から近距離までの量子化性能を達成する。
我々の研究は、スケーリング法則とハードウェアアップグレードの停滞の間の調和を促進することができる。
論文 参考訳(メタデータ) (2024-09-01T02:57:41Z) - In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。
我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。
実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文 参考訳(メタデータ) (2024-06-19T15:14:55Z) - What Operations can be Performed Directly on Compressed Arrays, and with What Error? [1.3307486544794784]
我々は、圧縮されたデータに直接、数十のかなり基本的な操作を可能にする、損失のある圧縮機を開発した。
3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
論文 参考訳(メタデータ) (2024-06-17T05:01:09Z) - Deep Dict: Deep Learning-based Lossy Time Series Compressor for IoT Data [15.97162100346596]
ディープディクト(Deep Dict)は、予め定義された範囲内で圧縮誤差を保ちながら高い圧縮比を達成するように設計された、損失の少ない時系列圧縮機である。
BTAEは時系列データからベルヌーイ表現を抽出し、従来のオートエンコーダと比較して表現のサイズを小さくする。
L1/L2のような共通回帰損失の限界に対処するために、量子エントロピー損失(QEL)と呼ばれる新しい損失関数を導入する。
論文 参考訳(メタデータ) (2024-01-18T22:10:21Z) - Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳(メタデータ) (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z) - Latent Discretization for Continuous-time Sequence Compression [21.062288207034968]
本研究では、データシーケンスを、基礎となる連続時間プロセスからの観測として扱う。
本手法は,識別の仕方を学習することで,ビットレートの低減を自動で実現できることを示す。
論文 参考訳(メタデータ) (2022-12-28T01:15:27Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
自己教師型音声モデルのための一括圧縮フレームワークを提案する。
このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。
また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
論文 参考訳(メタデータ) (2022-11-04T09:19:13Z) - Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image
Compression [85.93207826513192]
本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。
VAEのアプローチにおける連立損失と残留圧縮の問題を解く。
ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
論文 参考訳(メタデータ) (2022-09-11T12:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。