論文の概要: Towards a Deeper Understanding of Transformer for Residential Non-intrusive Load Monitoring
- arxiv url: http://arxiv.org/abs/2410.03758v3
- Date: Sun, 13 Oct 2024 12:40:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 16:40:48.938137
- Title: Towards a Deeper Understanding of Transformer for Residential Non-intrusive Load Monitoring
- Title（参考訳）: 住宅用非侵入負荷モニタリング用変圧器のより深い理解に向けて
- Authors: Minhajur Rahman, Yasir Arafat,
- Abstract要約: 本研究では, 注目層内の隠れ次元数, 注目層数, 注目頭部数, 落下率が変圧器性能に及ぼす影響について検討した。
この研究は、より堅牢で有能なトランスフォーマーモデルの研究と開発のための基盤となることが期待されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer models have demonstrated impressive performance in Non-Intrusive Load Monitoring (NILM) applications in recent years. Despite their success, existing studies have not thoroughly examined the impact of various hyper-parameters on model performance, which is crucial for advancing high-performing transformer models. In this work, a comprehensive series of experiments have been conducted to analyze the influence of these hyper-parameters in the context of residential NILM. This study delves into the effects of the number of hidden dimensions in the attention layer, the number of attention layers, the number of attention heads, and the dropout ratio on transformer performance. Furthermore, the role of the masking ratio has explored in BERT-style transformer training, providing a detailed investigation into its impact on NILM tasks. Based on these experiments, the optimal hyper-parameters have been selected and used them to train a transformer model, which surpasses the performance of existing models. The experimental findings offer valuable insights and guidelines for optimizing transformer architectures, aiming to enhance their effectiveness and efficiency in NILM applications. It is expected that this work will serve as a foundation for future research and development of more robust and capable transformer models for NILM.
- Abstract（参考訳）: トランスフォーマーモデルは近年,非侵入負荷モニタリング(NILM)アプリケーションにおいて顕著な性能を示している。
それらの成功にもかかわらず、既存の研究は、高性能トランスフォーマーモデルの発展に欠かせないモデル性能に対する様々なハイパーパラメータの影響を十分に調べていない。
本研究は, 住宅用NILMの文脈における過度パラメータの影響を解析するための総合的な実験である。
本研究では, 注目層内の隠れ次元数, 注目層数, 注目頭部数, 落下率が変圧器性能に及ぼす影響について検討した。
さらに、BERT型トランスフォーマートレーニングにおけるマスキング比の役割について検討し、NILMタスクへの影響を詳細に調査している。
これらの実験に基づいて、最適なハイパーパラメータが選択され、既存のモデルの性能を上回るトランスモデルをトレーニングするために使用される。
実験結果から,トランスフォーマーアーキテクチャを最適化するための貴重な洞察とガイドラインが得られた。
この研究は、NILMのためのより堅牢で有能なトランスフォーマーモデルの研究と開発のための基盤となることが期待されている。
関連論文リスト
- Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。
この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
論文 参考訳（メタデータ） (2024-09-28T13:24:11Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - On the Long Range Abilities of Transformers [69.3021852589771]
トランスアーキテクチャの変更を最小限に抑えることで,Long Range Arenaベンチマークの性能を大幅に向上させることができることを示す。
長距離タスクの2つの鍵となる原理(すなわち、滑らか性に対する帰納的バイアス)と局所性(すなわち、局所性)である。
以下に示すように、これらのアイデアを注意機構に組み込むことで、追加の計算量や追加のトレーニング可能なパラメータなしで結果を改善することができる。
論文 参考訳（メタデータ） (2023-11-28T09:21:48Z) - Leveraging the Power of Data Augmentation for Transformer-based Tracking [64.46371987827312]
トラッキング用にカスタマイズされた2つのデータ拡張手法を提案する。
まず、動的探索半径機構と境界サンプルのシミュレーションにより、既存のランダムトリミングを最適化する。
第2に,背景干渉などの問題に対するモデルを可能にする,トークンレベルの機能混在強化戦略を提案する。
論文 参考訳（メタデータ） (2023-09-15T09:18:54Z) - Combining pre-trained Vision Transformers and CIDER for Out Of Domain
Detection [0.774971301405295]
ほとんどの産業用パイプラインは、CNNやVision Transformersのような下流タスクのための事前訓練されたモデルに依存している。
本稿では,ドメイン外検出におけるモデルの性能について検討する。
論文 参考訳（メタデータ） (2023-09-06T14:41:55Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - Transformers in Reinforcement Learning: A Survey [7.622978576824539]
トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。
この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
論文 参考訳（メタデータ） (2023-07-12T07:51:12Z) - ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。
我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文 参考訳（メタデータ） (2023-06-19T09:38:21Z) - 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。
多次元状態空間モデルの表現的変動を利用する。
本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
論文 参考訳（メタデータ） (2023-06-11T09:41:37Z) - An Empirical Study on the Transferability of Transformer Modules in
Parameter-Efficient Fine-Tuning [18.69409646532038]
本稿では,事前学習したモデルから下流タスクへ知識を伝達するトランスフォーマーモジュールの能力について検討する。
レイヤーノームは訓練可能な重量に制限された知識伝達能力を示す。
論文 参考訳（メタデータ） (2023-02-01T11:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。