論文の概要: Time Elastic Neural Networks

• arxiv url: http://arxiv.org/abs/2405.17516v1
• Date: Mon, 27 May 2024 09:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 23:50:44.987583
• Title: Time Elastic Neural Networks
• Title（参考訳）: 時間弾性ニューラルネットワーク
• Authors: Pierre-François Marteau,
• Abstract要約: 時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。 古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。 トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce and detail an atypical neural network architecture, called time elastic neural network (teNN), for multivariate time series classification. The novelty compared to classical neural network architecture is that it explicitly incorporates time warping ability, as well as a new way of considering attention. In addition, this architecture is capable of learning a dropout strategy, thus optimizing its own architecture.Behind the design of this architecture, our overall objective is threefold: firstly, we are aiming at improving the accuracy of instance based classification approaches that shows quite good performances as far as enough training data is available. Secondly we seek to reduce the computational complexity inherent to these methods to improve their scalability. Ideally, we seek to find an acceptable balance between these first two criteria. And finally, we seek to enhance the explainability of the decision provided by this kind of neural architecture.The experiment demonstrates that the stochastic gradient descent implemented to train a teNN is quite effective. To the extent that the selection of some critical meta-parameters is correct, convergence is generally smooth and fast.While maintaining good accuracy, we get a drastic gain in scalability by first reducing the required number of reference time series, i.e. the number of teNN cells required. Secondly, we demonstrate that, during the training process, the teNN succeeds in reducing the number of neurons required within each cell. Finally, we show that the analysis of the activation and attention matrices as well as the reference time series after training provides relevant information to interpret and explain the classification results.The comparative study that we have carried out and which concerns around thirty diverse and multivariate datasets shows that the teNN obtains results comparable to those of the state of the art, in particular similar to those of a network mixing LSTM and CNN architectures for example.
• Abstract（参考訳）: 多変量時系列分類のための非典型的ニューラルネットワークアーキテクチャである時間弾性ニューラルネットワーク(teNN)を導入,詳述する。 古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆらぎの能力と、注意を向ける新しい方法が明確に組み込まれていることだ。 さらに、このアーキテクチャは、ドロップアウト戦略を学習し、独自のアーキテクチャを最適化することができる。このアーキテクチャの設計の背後では、私たちの全体的な目標が3倍になる。まず、十分なトレーニングデータが得られる限り、非常に優れたパフォーマンスを示すインスタンスベースの分類アプローチの精度向上を目指しています。 次に、これらの手法に固有の計算複雑性を減らし、スケーラビリティを向上させる。 理想的には、これらの最初の2つの基準の間に許容可能なバランスを求めます。 最後に、我々は、この種のニューラルアーキテクチャによる決定の説明可能性を高めることを目指しており、この実験は、TENNを訓練するために実装された確率勾配勾配が極めて効果的であることを示す。 重要なメタパラメータの選択が正しければ,収束は概ねスムーズかつ高速であり,精度は高いが,必要な参照時間列,すなわちテナンセルの数を減らすことで,スケーラビリティの大幅な向上が期待できる。 第2に、トレーニング過程において、TENNは各細胞に必要となるニューロン数を減少させることに成功した。 最後に、学習後のアクティベーションおよびアテンション行列の解析および参照時系列が、分類結果を解釈し、説明するための関連情報を提供することを示すとともに、30の多様な多変量データセットに関する関心事の比較研究により、テナンが、例えばLSTMとCNNアーキテクチャを混合したネットワークのものと同等の結果を得ることを示した。

関連論文リスト

• Approximating G(t)/GI/1 queues with deep learning [0.0]
  待ち行列理論の問題を解くために教師付き機械学習手法を適用する。 G(t)/GI/1 の系における数の過渡分布を推定する。 我々はこれらの分布を高速かつ正確に予測するニューラルネットワーク機構を開発する。
  論文  参考訳（メタデータ） (2024-07-11T05:25:45Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing [16.69710555668727]
  本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。 提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。 IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
  論文  参考訳（メタデータ） (2021-09-14T19:08:07Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。