論文の概要: Efficient Localness Transformer for Smart Sensor-Based Energy Disaggregation

• arxiv url: http://arxiv.org/abs/2203.16537v1
• Date: Tue, 29 Mar 2022 22:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 14:11:00.314749
• Title: Efficient Localness Transformer for Smart Sensor-Based Energy Disaggregation
• Title（参考訳）: スマートセンサを用いたエネルギー分散のための高効率局所性変圧器
• Authors: Zhenrui Yue, Huimin Zeng, Ziyi Kou, Lanyu Shang, Dong Wang
• Abstract要約: 非侵襲負荷モニタリング(NILM)のための効率的な局所性変換器を提案する。 具体的には正規化関数を利用し、行列乗算の順序を近似自己アテンションに切り替える。 提案するELTransformerの有効性と有効性は,最先端のベースラインと比較して著しく向上した。
• 参考スコア（独自算出の注目度）: 8.828396559882954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern smart sensor-based energy management systems leverage non-intrusive load monitoring (NILM) to predict and optimize appliance load distribution in real-time. NILM, or energy disaggregation, refers to the decomposition of electricity usage conditioned on the aggregated power signals (i.e., smart sensor on the main channel). Based on real-time appliance power prediction using sensory technology, energy disaggregation has great potential to increase electricity efficiency and reduce energy expenditure. With the introduction of transformer models, NILM has achieved significant improvements in predicting device power readings. Nevertheless, transformers are less efficient due to O(l^2) complexity w.r.t. sequence length l. Moreover, transformers can fail to capture local signal patterns in sequence-to-point settings due to the lack of inductive bias in local context. In this work, we propose an efficient localness transformer for non-intrusive load monitoring (ELTransformer). Specifically, we leverage normalization functions and switch the order of matrix multiplication to approximate self-attention and reduce computational complexity. Additionally, we introduce localness modeling with sparse local attention heads and relative position encodings to enhance the model capacity in extracting short-term local patterns. To the best of our knowledge, ELTransformer is the first NILM model that addresses computational complexity and localness modeling in NILM. With extensive experiments and quantitative analyses, we demonstrate the efficiency and effectiveness of the the proposed ELTransformer with considerable improvements compared to state-of-the-art baselines.
• Abstract（参考訳）: 現代のスマートセンサベースのエネルギー管理システムは、非侵入負荷監視(NILM)を利用して、アプライアンス負荷分布をリアルタイムで予測し、最適化する。 NILM(エネルギ・デアグリゲーション、英: Energy disaggregation)は、集約された電力信号(すなわちメインチャネル上のスマートセンサー)に条件付けられた電力使用量の分解である。 センサ技術を用いたリアルタイムアプライアンス電力予測により,エネルギーの分散化は電力効率の向上とエネルギー消費の削減に大きな可能性を秘めている。 トランスモデルの導入により、NILMはデバイスパワーリードの予測において大幅に改善されている。 しかしながら、トランスはO(l^2) の複雑さのため効率が良くない。 さらに、トランスフォーマは、局所的なコンテキストにおける帰納バイアスの欠如により、シーケンスからポイントへの設定で局所的な信号パターンをキャプチャできない可能性がある。 本研究では,非侵入負荷モニタリング(ELTransformer)のための効率的な局所性変換器を提案する。 具体的には正規化関数を活用し、行列乗算の順序を近似自己注意に切り替え、計算複雑性を低減する。 さらに,局所的注意の少ない局所性モデルと相対的位置エンコーディングを導入し,短期的局所パターン抽出におけるモデル能力を向上させる。 我々の知る限り、ELTransformer は NILM における計算複雑性と局所性モデリングに対処する最初の NILM モデルである。 広範な実験と定量的解析により,提案するeltransformerの効率と有効性が,最先端のベースラインと比較して大幅に向上した。

関連論文リスト

• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
  ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。 解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
  論文  参考訳（メタデータ） (2024-07-17T15:08:14Z)
• Residual-based Attention Physics-informed Neural Networks for Spatio-Temporal Ageing Assessment of Transformers Operated in Renewable Power Plants [0.6223528900192875]
  本稿では,変圧器の巻線温度と経年変化に関する時間モデルを紹介する。 物理ベースの偏微分方程式とデータ駆動ニューラルネットワークを用いる。 フローティング太陽光発電プラントで動作する配電変圧器を用いて, 実験結果を検証した。
  論文  参考訳（メタデータ） (2024-05-10T12:48:57Z)
• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• Effective Pre-Training Objectives for Transformer-based Autoencoders [97.99741848756302]
  トランスフォーマーエンコーダの効率,コスト,精度のトレードオフについて検討する。 共通の目的の機能を組み合わせて、新しい効果的な事前学習アプローチを作成します。
  論文  参考訳（メタデータ） (2022-10-24T18:39:44Z)
• Stabilizing Voltage in Power Distribution Networks via Multi-Agent Reinforcement Learning with Transformer [128.19212716007794]
  本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。 さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-06-08T07:48:42Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Massive MIMO As an Extreme Learning Machine [83.12538841141892]
  低分解能アナログ・デジタルコンバータ(ADC)を用いたMIMOシステムによる自然極端学習機械(ELM)の試作 受信した信号にランダムなバイアスを加え、ELM出力の重みを最適化することにより、システムはハードウェアの障害に効果的に取り組むことができる。
  論文  参考訳（メタデータ） (2020-07-01T04:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。