論文の概要: SITHCon: A neural network robust to variations in input scaling on the time dimension

• arxiv url: http://arxiv.org/abs/2107.04616v1
• Date: Fri, 9 Jul 2021 18:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 15:55:31.251661
• Title: SITHCon: A neural network robust to variations in input scaling on the time dimension
• Title（参考訳）: SITHCon: 時間次元における入力スケーリングの変動に頑健なニューラルネットワーク
• Authors: Brandon G. Jacques, Zoran Tiganj, Aakash Sarkar, Marc W. Howard, Per B. Sederberg
• Abstract要約: 機械学習では、畳み込みニューラルネットワーク(CNN)はコンピュータビジョンと時間とともに拡張されたパターンの認識の両方に非常に影響を与えている。 本稿では,対数的に分散した時間メモリを用いたSITHCon(Scale-Invariant Temporal History Convolution Network)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, convolutional neural networks (CNNs) have been extremely influential in both computer vision and in recognizing patterns extended over time. In computer vision, part of the flexibility arises from the use of max-pooling operations over the convolutions to attain translation invariance. In the mammalian brain, neural representations of time use a set of temporal basis functions. Critically, these basis functions appear to be arranged in a geometric series such that the basis set is evenly distributed over logarithmic time. This paper introduces a Scale-Invariant Temporal History Convolution network (SITHCon) that uses a logarithmically-distributed temporal memory. A max-pool over a logarithmically-distributed temporal memory results in scale-invariance in time. We compare performance of SITHCon to a Temporal Convolution Network (TCN) and demonstrate that, although both networks can learn classification and regression problems on both univariate and multivariate time series $f(t)$, only SITHCon has the property that it generalizes without retraining to rescaled versions of the input $f(at)$. This property, inspired by findings from neuroscience and psychology, could lead to large-scale networks with dramatically different capabilities, including faster training and greater generalizability, even with significantly fewer free parameters.
• Abstract（参考訳）: 機械学習では、畳み込みニューラルネットワーク(CNN)はコンピュータビジョンと時間とともに拡張されたパターンの認識の両方に非常に影響を与えた。 コンピュータビジョンにおいて、柔軟性の一部は、変換不変性を達成するために畳み込み上の最大プール演算を使用することによって生じる。 哺乳類の脳では、時間の神経表現は時間基底関数のセットを使用する。 批判的に、これらの基底関数は、基底集合が対数時間上で均等に分布するように幾何級数に配置されているように見える。 本稿では,対数的に分散した時間メモリを用いたSITHCon(Scale-Invariant Temporal History Convolution Network)を提案する。 対数分布した時間記憶上の最大プールは、時間のスケール不変性をもたらす。 SITHConの性能を時間的畳み込みネットワーク(TCN)と比較し、両ネットワークが単変量および多変量時系列$f(t)$の分類と回帰問題を学習できるが、入力$f(at)$の再スケールに再学習することなく一般化できる特性を持つのはSITHConのみであることを示す。 この性質は神経科学や心理学の知見に触発され、トレーニングの高速化や一般化性の向上など、大幅に異なる能力を持つ大規模ネットワークに繋がる可能性がある。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• Recurrent Neural Networks with more flexible memory: better predictions than rough volatility [0.0]
  資産価格のボラティリティを予測するため,バニラと長期の長期記憶ネットワークの能力を比較した。 検証損失が最小のモデルでは,複数時系列のデータセット上でトレーニングおよびテストを行った場合,大まかなボラティリティ予測を約20%上回る結果が得られた。
  論文  参考訳（メタデータ） (2023-08-04T14:24:57Z)
• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Temporal Interlacing Network [8.876132549551738]
  時間的インターレースネットワーク(TIN)は、時間的特徴を学習するための単純だが強力な演算子である。 TINは、空間表現を過去から未来へインターレースすることで、2種類の情報を融合する。 TINはICCV19 - Multi Moments in Timeで1位を獲得した。
  論文  参考訳（メタデータ） (2020-01-17T19:06:05Z)
• A Deep Structural Model for Analyzing Correlated Multivariate Time Series [11.009809732645888]
  相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。 モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。 我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
  論文  参考訳（メタデータ） (2020-01-02T18:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。