論文の概要: Learning Novel Transformer Architecture for Time-series Forecasting

• arxiv url: http://arxiv.org/abs/2502.13721v1
• Date: Wed, 19 Feb 2025 13:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:21.559123
• Title: Learning Novel Transformer Architecture for Time-series Forecasting
• Title（参考訳）: 時系列予測のための新しいトランスフォーマーアーキテクチャの学習
• Authors: Juyuan Zhang, Wei Zhu, Jiechao Gao,
• Abstract要約: AutoFormer-TSは、時系列予測タスクに適したTransformerアーキテクチャの包括的な検索スペースを活用する新しいフレームワークである。 我々のフレームワークは、既存のDNASアプローチを改善した、差別化可能なニューラルアーキテクチャサーチ(DNAS)手法であるAB-DARTSを導入している。
• 参考スコア（独自算出の注目度）: 9.412920379798928
• License:
• Abstract: Despite the success of Transformer-based models in the time-series prediction (TSP) tasks, the existing Transformer architecture still face limitations and the literature lacks comprehensive explorations into alternative architectures. To address these challenges, we propose AutoFormer-TS, a novel framework that leverages a comprehensive search space for Transformer architectures tailored to TSP tasks. Our framework introduces a differentiable neural architecture search (DNAS) method, AB-DARTS, which improves upon existing DNAS approaches by enhancing the identification of optimal operations within the architecture. AutoFormer-TS systematically explores alternative attention mechanisms, activation functions, and encoding operations, moving beyond the traditional Transformer design. Extensive experiments demonstrate that AutoFormer-TS consistently outperforms state-of-the-art baselines across various TSP benchmarks, achieving superior forecasting accuracy while maintaining reasonable training efficiency.
• Abstract（参考訳）: 時系列予測(TSP)タスクにおけるTransformerベースのモデルの成功にもかかわらず、既存のTransformerアーキテクチャはまだ制限に直面しており、文献は代替アーキテクチャへの包括的な探索を欠いている。 これらの課題に対処するために、我々は、TSPタスクに適したTransformerアーキテクチャの包括的な検索スペースを活用する新しいフレームワークであるAutoFormer-TSを提案する。 我々のフレームワークは、アーキテクチャ内での最適な操作の識別を強化することにより、既存のDNASアプローチを改善する、微分可能なニューラルネットワーク探索(AB-DARTS)手法を導入している。 AutoFormer-TSは、従来のTransformer設計を超えて、代替の注意機構、アクティベーション機能、エンコーディング操作を体系的に検討している。 大規模な実験により、AutoFormer-TSは様々なTSPベンチマークで最先端のベースラインを一貫して上回り、適切なトレーニング効率を維持しながら予測精度を向上することを示した。

関連論文リスト

• TART: Token-based Architecture Transformer for Neural Network Performance Prediction [0.0]
  トークンベースのアーキテクチャトランスフォーマー(TART)は、候補ネットワークをトレーニングすることなく、ニューラルネットワークのパフォーマンスを予測する。 TARTはエッジ情報のないパフォーマンス予測タスクのために、DeepNets-1Mデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-02T05:22:17Z)
• Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting [4.645182684813973]
  本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。 この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
  論文  参考訳（メタデータ） (2024-11-17T11:53:54Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• TransNAS-TSAD: Harnessing Transformers for Multi-Objective Neural Architecture Search in Time Series Anomaly Detection [3.5681028373124066]
  本稿では,トランスナS-TSADについて紹介する。トランスナS-TSADは,トランスフォーマーアーキテクチャとニューラルアーキテクチャサーチ(NAS)を相乗化するフレームワークである。 評価の結果,TransNAS-TSADはアーキテクチャ適応性の改善により従来の異常検出モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T20:13:32Z)
• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Exploring Transformers for Behavioural Biometrics: A Case Study in Gait Recognition [0.7874708385247353]
  本稿ではトランスフォーマーに基づく新しい歩行生体認証システムについて検討し,提案する。 実験フレームワークでは、最先端アーキテクチャ(Vanilla、Informer、Autoformer、Block-Recurrent Transformer、THAT)が検討されている。 代表的な2つの公開データベースwuGAITとOU-ISIRを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-06-03T08:08:40Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。