論文の概要: Boltzmann convolutions and Welford mean-variance layers with an application to time series forecasting and classification

• arxiv url: http://arxiv.org/abs/2503.04956v1
• Date: Thu, 06 Mar 2025 20:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:18.622569
• Title: Boltzmann convolutions and Welford mean-variance layers with an application to time series forecasting and classification
• Title（参考訳）: ボルツマン畳み込みとウェルフォード平均分散層 : 時系列予測と分類への応用
• Authors: Daniel Andrew Coulson, Martin T. Wells,
• Abstract要約: 本稿では,時系列予測と分類のためのForeClassNetと呼ばれるベイズ深層ニューラルネットワークアーキテクチャを提案する。 我々はForeClassNetが現在の技術手法と比較して優れた性能を発揮することを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper we propose a novel problem called the ForeClassing problem where the loss of a classification decision is only observed at a future time point after the classification decision has to be made. To solve this problem, we propose an approximately Bayesian deep neural network architecture called ForeClassNet for time series forecasting and classification. This network architecture forces the network to consider possible future realizations of the time series, by forecasting future time points and their likelihood of occurring, before making its final classification decision. To facilitate this, we introduce two novel neural network layers, Welford mean-variance layers and Boltzmann convolutional layers. Welford mean-variance layers allow networks to iteratively update their estimates of the mean and variance for the forecasted time points for each inputted time series to the network through successive forward passes, which the model can then consider in combination with a learned representation of the observed realizations of the time series for its classification decision. Boltzmann convolutional layers are linear combinations of approximately Bayesian convolutional layers with different filter lengths, allowing the model to learn multitemporal resolution representations of the input time series, and which resolutions to focus on within a given Boltzmann convolutional layer through a Boltzmann distribution. Through several simulation scenarios and two real world applications we demonstrate ForeClassNet achieves superior performance compared with current state of the art methods including a near 30% improvement in test set accuracy in our financial example compared to the second best performing model.
• Abstract（参考訳）: 本稿では,分類決定の喪失は,分類決定が下された後,将来的な時点にのみ観測される,フォアクラス問題と呼ばれる新しい問題を提案する。 この問題を解決するために、時系列予測と分類のためのForeClassNetと呼ばれるベイズ深層ニューラルネットワークアーキテクチャを提案する。 このネットワークアーキテクチャは、最終的な分類決定を行う前に、将来の時間点とその発生可能性を予測することによって、時系列の将来の実現をネットワークに考慮させる。 これを容易にするために、ウェルフォード平均分散層とボルツマン畳み込み層という2つの新しいニューラルネットワーク層を導入する。 ウェルフォード平均分散層は、入力された各時系列の予測された時間点の平均と分散の見積を連続的な前方通過を通して繰り返し更新し、そのモデルがその分類決定のために時系列の観測された実現の学習された表現と組み合わせることができる。 ボルツマン畳み込み層 (Boltzmann convolutional layer) は、フィルター長の異なるベイズ的畳み込み層の線形結合であり、モデルが入力時間列の多重時間分解表現を学習し、ボルツマン分布を通して与えられたボルツマン畳み込み層の内部に集中することができる。 いくつかのシミュレーションシナリオと2つの実世界のアプリケーションを通して、ForeClassNetは2番目の最高のパフォーマンスモデルと比較して、ファイナンシャル・サンプルにおけるテストセットの精度を約30%改善した現在の最先端手法と比較して、優れたパフォーマンスを実現していることを実証する。

関連論文リスト

• A New Self-organizing Interval Type-2 Fuzzy Neural Network for Multi-Step Time Series Prediction [9.546043411729206]
  本稿では,マルチステップ時系列予測のための複数出力(SOIT2FNN-MO)を備えた新しい自己組織化間隔型2ファジィニューラルネットワークを提案する。 予測精度,不確実性処理,モデル解釈可能性を改善するため,9層ネットワークを開発した。
  論文  参考訳（メタデータ） (2024-07-10T19:35:44Z)
• LayerShuffle: Enhancing Robustness in Vision Transformers by Randomizing Layer Execution Order [10.362659730151591]
  視覚変換器はテスト時に任意の層の実行順序に適応可能であることを示す。 また、ネットワークにおけるレイヤの位置に応じて、レイヤが異なるコントリビューションを学習することを示す。 分析の結果,ネットワークにおけるレイヤの位置に応じて,レイヤが異なるコントリビューションを学習できることが判明した。
  論文  参考訳（メタデータ） (2024-07-05T13:54:15Z)
• Time Elastic Neural Networks [2.1756081703276]
  時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。 古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。 トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
  論文  参考訳（メタデータ） (2024-05-27T09:01:30Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Radflow: A Recurrent, Aggregated, and Decomposable Model for Networks of Time Series [77.47313102926017]
  Radflowは、お互いに影響を与える時系列ネットワークの新しいモデルである。 それは3つの重要なアイデアを具現化します:時間に依存するノード埋め込み、マルチヘッドの注意を持つ隣接するノードからの影響の流れの集約、および時系列の多層分解を得るための繰り返しニューラルネットワーク。 radflowは異なる傾向や季節パターンを学習でき、欠落したノードやエッジに対して頑健であり、ネットワークの隣人間の時間パターンの相関は影響強度を反映している。
  論文  参考訳（メタデータ） (2021-02-15T00:57:28Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。