論文の概要: Automatic selection of the best neural architecture for time series forecasting via multi-objective optimization and Pareto optimality conditions

• arxiv url: http://arxiv.org/abs/2501.12215v1
• Date: Tue, 21 Jan 2025 15:33:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:17.584697
• Title: Automatic selection of the best neural architecture for time series forecasting via multi-objective optimization and Pareto optimality conditions
• Title（参考訳）: 多目的最適化とパレート最適条件による時系列予測のための最良のニューラルネットワークアーキテクチャの自動選択
• Authors: Qianying Cao, Shanqing Liu, Alan John Varghese, Jerome Darbon, Michael Triantafyllou, George Em Karniadakis,
• Abstract要約: 時系列予測は、天気予報、医療、構造的健康モニタリング、予測保守、エネルギーシステム、金融市場など、幅広い分野で重要な役割を果たしている。 LSTM、GRU、Transformers、State-Space Models (SSM) などのモデルがこの領域の標準ツールとなっているが、最適なアーキテクチャを選択することは依然として課題である。 本稿では,LSTM,GRU,マルチヘッドアテンション,SSMブロックを統合した時系列予測のためのフレキシブルな自動フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.4843690728082002
• License:
• Abstract: Time series forecasting plays a pivotal role in a wide range of applications, including weather prediction, healthcare, structural health monitoring, predictive maintenance, energy systems, and financial markets. While models such as LSTM, GRU, Transformers, and State-Space Models (SSMs) have become standard tools in this domain, selecting the optimal architecture remains a challenge. Performance comparisons often depend on evaluation metrics and the datasets under analysis, making the choice of a universally optimal model controversial. In this work, we introduce a flexible automated framework for time series forecasting that systematically designs and evaluates diverse network architectures by integrating LSTM, GRU, multi-head Attention, and SSM blocks. Using a multi-objective optimization approach, our framework determines the number, sequence, and combination of blocks to align with specific requirements and evaluation objectives. From the resulting Pareto-optimal architectures, the best model for a given context is selected via a user-defined preference function. We validate our framework across four distinct real-world applications. Results show that a single-layer GRU or LSTM is usually optimal when minimizing training time alone. However, when maximizing accuracy or balancing multiple objectives, the best architectures are often composite designs incorporating multiple block types in specific configurations. By employing a weighted preference function, users can resolve trade-offs between objectives, revealing novel, context-specific optimal architectures. Our findings underscore that no single neural architecture is universally optimal for time series forecasting. Instead, the best-performing model emerges as a data-driven composite architecture tailored to user-defined criteria and evaluation objectives.
• Abstract（参考訳）: 時系列予測は、天気予報、医療、構造的健康モニタリング、予測保守、エネルギーシステム、金融市場など、幅広い分野で重要な役割を果たしている。 LSTM、GRU、Transformers、State-Space Models (SSM) などのモデルがこの領域で標準的なツールとなっているが、最適なアーキテクチャを選択することは依然として課題である。 性能比較は、しばしば分析中の評価指標とデータセットに依存するため、普遍的に最適なモデルを選択することは議論の余地がある。 本研究では,LSTM,GRU,マルチヘッドアテンション,SSMブロックを統合し,多様なネットワークアーキテクチャを体系的に設計し,評価する時系列予測のためのフレキシブルな自動フレームワークを提案する。 提案フレームワークは,多目的最適化手法を用いて,ブロックの数,シーケンス,組み合わせを決定し,特定の要件や評価対象と整合する。 結果のPareto-Optimalアーキテクチャから、与えられたコンテキストに適したモデルが、ユーザ定義の好み関数を介して選択される。 4つの異なる現実世界のアプリケーションにまたがって、我々のフレームワークを検証する。 その結果,単層GRUやLSTMはトレーニング時間のみを最小化するのに最適であることが示唆された。 しかし、精度の最大化や複数の目的のバランスをとる場合、最良のアーキテクチャはしばしば特定の構成に複数のブロックタイプを組み込んだ複合設計である。 重み付けされた好み関数を使用することで、ユーザは目的間のトレードオフを解決し、新しいコンテキスト固有の最適なアーキテクチャを明らかにすることができる。 我々の発見は、時系列予測において、単一のニューラルネットワークアーキテクチャが普遍的に最適ではないことを裏付けている。 代わりに、最高のパフォーマンスモデルは、ユーザ定義の基準と評価の目的に合わせて、データ駆動の複合アーキテクチャとして現れます。

関連論文リスト

• Vehicle Suspension Recommendation System: Multi-Fidelity Neural Network-based Mechanism Design Optimization [4.038368925548051]
  自動車のサスペンションは運転性能と乗り心地を改善するように設計されているが、環境によって異なる種類が利用できる。 従来の設計プロセスは多段階であり、設計候補の数を徐々に減らし、目標性能を満たすためにコスト分析を行う。 近年、AIモデルはFAAの計算コストの削減に利用されている。
  論文  参考訳（メタデータ） (2024-10-03T23:54:03Z)
• Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
  PropEnは'matching'にインスパイアされている。 一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:30:19Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• An Empirical Analysis of Fairness Notions under Differential Privacy [3.3748750222488657]
  DP-SGDに適したモデルアーキテクチャを選択すると、統計的公正基準の異なるクラスに属する異なる公正概念がどう影響するかを示す。 これらの発見は、偏りのあるデータセットに基づいてトレーニングされたディープラーニングモデルにおいて、差分プライバシーが必ずしも不公平を悪化させるという理解に挑戦する。
  論文  参考訳（メタデータ） (2023-02-06T16:29:50Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences [55.25331349436895]
  深層生成モデルは、生命科学における逆問題に対する一般的な機械学習ベースのアプローチとして登場した。 これらの問題は、データ分布の学習に加えて、興味のある複数の特性を満たす新しい設計をサンプリングする必要があることが多い。
  論文  参考訳（メタデータ） (2022-10-19T19:04:45Z)
• Optimal Event Monitoring through Internet Mashup over Multivariate Time Series [77.34726150561087]
  このフレームワークは、モデル定義、クエリ、パラメータ学習、モデル評価、データ監視、決定レコメンデーション、Webポータルのサービスをサポートする。 さらに、MTSAデータモデルとクエリ言語を拡張して、学習、監視、レコメンデーションのサービスにおいて、この種の問題をサポートする。
  論文  参考訳（メタデータ） (2022-10-18T16:56:17Z)
• Designing MacPherson Suspension Architectures using Bayesian Optimization [21.295015276123962]
  コンプライアンステストは、まず、規律モデルを用いたコンピュータシミュレーションによって行われる。 このシミュレーションを通した設計は、物理的プロトタイピングとして考慮される。 提案手法は汎用的で,スケーラブルで,効率的であることを示す。
  論文  参考訳（メタデータ） (2022-06-17T21:50:25Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Triple-level Model Inferred Collaborative Network Architecture for Video Deraining [43.06607185181434]
  我々は,協調最適化と自動探索機構を用いてネットワークアーキテクチャを推定するモデル誘導三段階最適化フレームワークを開発した。 我々のモデルは、最先端の作業よりも忠実度と時間的一貫性が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2021-11-08T13:09:00Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。