論文の概要: Transfer Learning on Transformers for Building Energy Consumption Forecasting -- A Comparative Study

• arxiv url: http://arxiv.org/abs/2410.14107v1
• Date: Fri, 18 Oct 2024 01:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:51.779877
• Title: Transfer Learning on Transformers for Building Energy Consumption Forecasting -- A Comparative Study
• Title（参考訳）: 建築エネルギー消費予測のための変圧器の伝達学習-比較研究
• Authors: Robert Spencer, Surangika Ranathunga, Mikael Boulic, Andries, van Heerden, Teo Susnjak,
• Abstract要約: 本研究では,トランスフォーマーアーキテクチャへのトランスファーラーニング(TL)の適用について検討した。 バニラトランスフォーマーアーキテクチャに加えて、時系列予測用に特別に設計されたInformerとPatchTSTについても実験を行った。 実験結果から、TLは一般的に有用であるが、特に対象ドメインにデータがない場合には、TL戦略を慎重に選択して最大限の利益を得る必要があることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.9110413356918055
• License:
• Abstract: This study investigates the application of Transfer Learning (TL) on Transformer architectures to enhance building energy consumption forecasting. Transformers are a relatively new deep learning architecture, which has served as the foundation for groundbreaking technologies such as ChatGPT. While TL has been studied in the past, these studies considered either one TL strategy or used older deep learning models such as Recurrent Neural Networks or Convolutional Neural Networks. Here, we carry out an extensive empirical study on six different TL strategies and analyse their performance under varying feature spaces. In addition to the vanilla Transformer architecture, we also experiment with Informer and PatchTST, specifically designed for time series forecasting. We use 16 datasets from the Building Data Genome Project 2 to create building energy consumption forecasting models. Experiment results reveal that while TL is generally beneficial, especially when the target domain has no data, careful selection of the exact TL strategy should be made to gain the maximum benefit. This decision largely depends on the feature space properties such as the recorded weather features. We also note that PatchTST outperforms the other two Transformer variants (vanilla Transformer and Informer). We believe our findings would assist researchers in making informed decision in using TL and transformer architectures for building energy consumption forecasting.
• Abstract（参考訳）: 本研究では,トランスフォーマーアーキテクチャへのトランスファーラーニング(TL)の適用について検討した。 Transformersは比較的新しいディープラーニングアーキテクチャであり、ChatGPTのような画期的な技術の基盤となっている。 TLは過去に研究されてきたが、これらの研究は1つのTL戦略か、リカレントニューラルネットワークや畳み込みニューラルネットワークのような古いディープラーニングモデルを用いた。 ここでは,6つの異なるTL戦略に関する広範な実証研究を行い,その性能を異なる特徴空間下で解析する。 バニラトランスフォーマーアーキテクチャに加えて、時系列予測用に特別に設計されたInformerとPatchTSTについても実験を行った。 我々は、ビルディングデータゲノムプロジェクト2から16のデータセットを使用して、ビルディングエネルギー消費予測モデルを作成します。 実験結果から、TLは一般的に有用であるが、特に対象ドメインにデータがない場合には、TL戦略を慎重に選択して最大限の利益を得る必要があることが明らかとなった。 この決定は、記録された気象特性のような特徴空間の性質に大きく依存する。 PatchTSTは、他の2つのTransformer(vanilla TransformerとInformer)よりも優れています。 我々は,TLとトランスフォーマーアーキテクチャをエネルギー消費予測の構築に活用することで,研究者の意思決定を支援すると信じている。

関連論文リスト

• Causal Transformer for Fusion and Pose Estimation in Deep Visual Inertial Odometry [1.2289361708127877]
  深部視覚-慣性眼振におけるポーズ推定のための因果的視覚-慣性融合変換器 (VIFT) を提案する。 提案手法はエンドツーエンドのトレーニングが可能であり,単眼カメラとIMUのみを必要とする。
  論文  参考訳（メタデータ） (2024-09-13T12:21:25Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• VST++: Efficient and Stronger Visual Saliency Transformer [74.26078624363274]
  我々は,グローバルな長距離依存関係を探索する,効率的で強力なVST++モデルを開発した。 我々は、RGB、RGB-D、RGB-T SODベンチマークデータセット上で、トランスフォーマーベースのバックボーンにまたがってモデルを評価した。
  論文  参考訳（メタデータ） (2023-10-18T05:44:49Z)
• A Survey of Techniques for Optimizing Transformer Inference [3.6258657276072253]
  近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に上昇している。 ChatGPTのようなトランスフォーマーベースのネットワークは、一般的な男性の生活に影響を与えている。 研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
  論文  参考訳（メタデータ） (2023-07-16T08:50:50Z)
• Transformers in Reinforcement Learning: A Survey [7.622978576824539]
  トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。 この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
  論文  参考訳（メタデータ） (2023-07-12T07:51:12Z)
• TLNets: Transformation Learning Networks for long-range time-series prediction [17.844048490712016]
  本稿では,変換に基づくネットワークアーキテクチャ設計のための新しい計画を提案する。 上記の構成ブロックに基づいて,FT-Matrix,FT-SVD,FT-Conv,Conv-SVDの4つの学習モデルを開発した。 上記のトランスフォーメーション学習ネットワーク(TLNet)は、複数のベースラインモデルと比較して、広範囲にテストされている。
  論文  参考訳（メタデータ） (2023-05-25T06:27:45Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures [1.278093617645299]
  本研究は,ノルウェー大陸棚の多段階風速予測に焦点を当てた。 グラフニューラルネットワーク(GNN)アーキテクチャは、時間的相関を学習するために異なる更新機能を持つ空間的依存関係を抽出するために使用された。 LogSparse TransformerとAutoformerが風速予測に適用されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-08-29T13:26:20Z)
• Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection [119.93025368028083]
  我々は、新しいトランスフォーマー型ヒューマンオブジェクトインタラクション(HOI)検出器、すなわち、インタラクション提案(STIP)による構造認識トランスフォーマーを設計する。 STIPはHOIセット予測の過程を、まず相互作用の提案生成を行い、次に構造認識変換器を介して非パラメトリック相互作用提案をHOI予測に変換する2つのフェーズに分解する。 構造対応トランスフォーマーは、相互作用提案間の相同的意味構造を付加してバニラトランスフォーマーをアップグレードし、各相互作用提案内の人間・物体の局所的空間構造を付加し、HOIを強化する。
  論文  参考訳（メタデータ） (2022-06-13T16:21:08Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。