論文の概要: LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2510.10465v1
- Date: Sun, 12 Oct 2025 06:14:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.954792
- Title: LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
- Title（参考訳）: LightSAE: IoT多変量時系列予測のためのパラメータ効率と不均一性を考慮した埋め込み
- Authors: Yi Ren, Xinjie Yu,
- Abstract要約: 我々は、共有ベースコンポーネントへの埋め込みを分解する共有補助埋め込み(SAE)フレームワークを導入する。
この分解では, 補助成分が低ランク, クラスタリング特性を示す傾向が観察された。
パラメータ効率のよい埋め込みモジュールであるLightSAEを設計し、これらの特性を低ランク因子化と共有ゲートコンポーネントプールを通じて操作する。
- 参考スコア（独自算出の注目度）: 8.157555726512372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern Internet of Things (IoT) systems generate massive, heterogeneous multivariate time series data. Accurate Multivariate Time Series Forecasting (MTSF) of such data is critical for numerous applications. However, existing methods almost universally employ a shared embedding layer that processes all channels identically, creating a representational bottleneck that obscures valuable channel-specific information. To address this challenge, we introduce a Shared-Auxiliary Embedding (SAE) framework that decomposes the embedding into a shared base component capturing common patterns and channel-specific auxiliary components modeling unique deviations. Within this decomposition, we \rev{empirically observe} that the auxiliary components tend to exhibit low-rank and clustering characteristics, a structural pattern that is significantly less apparent when using purely independent embeddings. Consequently, we design LightSAE, a parameter-efficient embedding module that operationalizes these observed characteristics through low-rank factorization and a shared, gated component pool. Extensive experiments across 9 IoT-related datasets and 4 backbone architectures demonstrate LightSAE's effectiveness, achieving MSE improvements of up to 22.8\% with only 4.0\% parameter increase.
- Abstract（参考訳）: 現代のモノのインターネット(IoT)システムは、巨大で異種多変量時系列データを生成する。
このようなデータの正確な多変量時系列予測(MTSF)は、多くのアプリケーションにとって重要である。
しかし、既存の手法では、すべてのチャネルを同一に処理する共有埋め込み層がほとんど普遍的に採用されており、貴重なチャネル固有の情報を隠蔽する表現的ボトルネックが生じる。
この課題に対処するために、共有ベースコンポーネントへの埋め込みを分解して共通のパターンをキャプチャし、独自の逸脱をモデル化する共有補助コンポーネント(SAE)フレームワークを導入する。
この分解の中では、補助成分は低ランクおよびクラスタリング特性を示す傾向にあり、これは純粋に独立な埋め込みを用いた場合、明らかでない構造パターンである。
その結果、低ランク因子化と共有ゲートコンポーネントプールにより、これらの観測特性を動作させるパラメータ効率のよい埋め込みモジュールであるLightSAEを設計した。
9つのIoT関連データセットと4つのバックボーンアーキテクチャにわたる大規模な実験は、LightSAEの有効性を示し、パラメータがわずか4.0\%の最大22.8\%の改善を実現している。
関連論文リスト
- Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。
この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。
我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
論文 参考訳（メタデータ） (2025-06-13T14:29:40Z) - LGM-Pose: A Lightweight Global Modeling Network for Real-time Human Pose Estimation [9.000760165185532]
これらの課題に対処するために,シングルブランチ軽量グローバルモデリングネットワーク (LGM-Pose) が提案されている。
このネットワークでは、軽量なMobileViMブロックが、LARM(Lightweight Attentional Representation Module)として提案されている。
論文 参考訳（メタデータ） (2025-06-05T02:29:04Z) - Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。
我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。
劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-19T09:54:46Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - MSSFC-Net:Enhancing Building Interpretation with Multi-Scale Spatial-Spectral Feature Collaboration [4.480146005071275]
リモートセンシング画像からの解釈を構築するには、主に2つの基本的なタスクがある。
リモートセンシング画像における共同ビルディング抽出と変更検出のためのマルチスケール空間スペクトル特徴協調型デュアルタスクネットワーク(MSSFC-Net)を提案する。
論文 参考訳（メタデータ） (2025-04-01T13:10:23Z) - LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。
本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。
また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
論文 参考訳（メタデータ） (2025-03-19T17:00:58Z) - PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [83.35198885088093]
PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。
複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。
PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。
本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
論文 参考訳（メタデータ） (2024-12-17T09:59:53Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - P-MSDiff: Parallel Multi-Scale Diffusion for Remote Sensing Image Segmentation [8.46409964236009]
拡散モデルとマルチスケール機能はセグメンテーションタスクにおいて不可欠な要素である。
並列なマルチスケール分岐を持つ拡散モデルとして知られるセマンティックセグメンテーションの新しいモデルを提案する。
我々のモデルは、UAVidとVayhingen Buildingのデータセットに基づいて、J1測定値に基づいて、優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-05-30T19:40:08Z) - SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。
いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。
本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
論文 参考訳（メタデータ） (2024-04-22T14:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。